发布时间：2019-3-5 分类： 电商动态
在代购源码网站建设之初，页数有限，团队数量有限，代购源码网站各页面元素变化不大。但是，在代购源码网站建设过程中，对代购源码网站的需求变得更加苛刻。代购源码网站的变化比以前更频繁。 XX部门提到的XX需求可能会影响SEO流量。如果没有及时发现，时间会延长，这可能会导致严重甚至不可能。逆转的后果。谁会带这个锅？
这可以通过改进在线流程的要求来解决。例如，任何与页面更改相关的要求（新页面和现有页面元素更改）都要求SEO部门在提交RD之前提交RD之前进行干预。在SEO渠道的用户拉出新渠道之后，它正式提交给RD。
令人尴尬的是，有不少公司，SEO因历史效应而无法控制，或SEO不是用户拉新的渠道。 SEO在PM和RD面前更难获得发言权。他们可能不在乎，他们忘了在审查时，我打电话给SEO一起玩。这种情况需要一个具有八卦特征的SEO，与RD，PM无关，询问最近有什么新的需求…
但是，即使进程可以完成，页面元素也会有变化，但SEO情况没有及时通知，比如新产品的介绍要求，我不知道这个过程。
此外，由于SEO部门的人事变动，有些老员工离职，新员工进入公司。新雇用的SEO不能快速了解代购源码网站的历史背景。可以移交旧员工和新员工。许多细节将被遗漏，导致新的搜索引擎优化，这将导致一些本来可以避免的坑。
一些草根SEO没有足够的爬虫日志分析能力，或者他们需要每天通过软件或shell手动分析一次数据，然后执行复杂且低效的SEO操作。
为了解决上述两个问题，需要一套“及时止损机制”来及时发现潜在风险，提高日常SEO效率。
“及时止损机制”需要手动设置会影响SEO的N个功能。该程序每天24小时监控这些功能。如果有符合特征的元素，将及时通知SEO，并提示相应的建议。做数据备份。并根据代购源码网站的发展，不断添加和删除监控功能。
我将“及时止损机制”分为两部分：“履带式日志监控”和“页面功能监控”
爬行动物日志监控
上图是“履带式日志监控模块”的逻辑，它分为三个步骤：“检查字段”，“触发条件”，“执行操作”。以下是您可能需要解释的一些事项：
黑白名单爬行动物IP
根据UA baiduspider爬虫，检测IP是否是真正的Baiduspider。如果是假蜘蛛，它会被添加到黑名单中。如果它是真正的蜘蛛，它会被添加到baiduspider的白名单中。
其他主流搜索引擎会将相应白名单中显示的IP添加，然后根据IP段将其排除。
收集白名单IP可以用作未来的SEO。例如，不允许使用SEO的小型需求产品，SEO是首屈一指的。仅显示白名单IP的元素，不显示普通用户访问权限。
提前在电台组织已知页面
预先计算工作站中的所有URL类型，并整理相应URL类型的正则表达式。这些常规规则是统计站中已知页面的爬行状态。
由于大多数SEO都包含产品经理，因此可能无法清除工作站中有多少个URL。因此，有必要通过日志找到未知的URL，并执行相应的SEO操作。
返回内容大小字段统计信息
为什么要计算“$ body_bytes_sent（发送给访问者的文件大小）”这个字段？
因为我以前经历过几种类似的情况：特定类型页面的流量减少，在检查爬虫日志后，360Spider访问页面的一部分，返回的文件大小为54k，这不是正常大小的页面的html文件，找到了技术，很快就找到了。新的反爬行策略没有将360Spider添加到白名单中，导致反爬行动物策略被触发并返回到空白页面。
页面功能监控
模板监控页面是因为代购源码网站可能有一组带有N组模板的URL，而其他需求者只能更改其中一个。
