发布时间：2020-6-29 分类： 电商动态
01.网页为何要去重?
对于搜索引擎，你想要呈现给用户的是新的和有吸引力的内容，这是一篇高质量的文章，而不是很多“不应该改变药物”的包装;我们正在进行SEO优化，对内容进行编辑时，不可避免地要引用其他类似的文章，而且这篇文章可能已被很多人收集，这导致网络上大量重复相关信息。
如果一个代购源码网站有大量不良收集内容，它不仅会影响用户体验，还会导致搜索引擎直接阻止该代购源码网站。在代购源码网站上的内容之后，蜘蛛很难爬行。
02.搜索引擎工作原理
搜索引擎是指根据特定策略从互联网收集信息，使用特定计算机程序，并在组织和处理信息后为用户提供搜索服务，并向用户呈现相关信息的系统。 。
搜索引擎如何运作：
第一步：爬行
搜索引擎通过特定的软件模式跟踪网页链接，从一个链接爬行到另一个链接，就像爬行在蜘蛛网上的蜘蛛一样，所以它被称为“蜘蛛”，也被称为“机器人”。 。使用某些规则输入搜索引擎蜘蛛爬行，它需要符合某些命令或文件的内容。
第二步：抓取存储
搜索引擎通过蜘蛛跟踪链接抓取网页，并将已爬网的数据存储在原始页面数据库中。页面数据与用户浏览器获得的HTML完全相同。当搜索引擎蜘蛛抓取页面时，它还执行某些重复的内容检测。一旦在代购源码网站上遇到大量剽窃，收集或复制的内容，重量轻，就很可能会停止抓取。
第三步：预处理
搜索引擎从蜘蛛抓取页面并执行各个步骤的预处理。
除了HTML文件之外，搜索引擎还经常抓取和索引各种基于文件的文件类型，例如PDF，Word，WPS，XLS，PPT，TXT文件等。我们经常在搜索结果中看到这些文件类型。但搜索引擎无法处理非文本内容，如图像，视频，Flash或脚本和程序。
第四步：排名
在用户在搜索框中输入关键字之后，排名程序调用索引库数据，向用户计算排名显示，并且排名过程直接与用户交互。然而，由于搜索引擎中的大量数据，尽管每天都有小的更新，但搜索引擎的排名规则通常根据日，周和月的不同程度更新。
03.网页去重的代表性方法
搜索引擎包括全文索引，目录索引，元搜索引擎，垂直搜索引擎，集体搜索引擎，门户搜索引擎和免费链接列表。重复数据删除工作通常在分词之前执行。搜索引擎从已从页面分离的关键字中提取一些代表性关键字，以计算代购源码网站关键字的特征。
目前，网页的去表示有三种方法。
1)基于聚类的方法。该方法基于网页的文本内容，以6763个汉字作为向量的基础。文本中某个组或某个中文字符的出现频率构成表示网页的向量，并确定向量的角度以确定它是否是同一网页。
2)排除相同URL方法。各种元搜索引擎都大量使用这种方法。它使用相同的URL分析来自不同搜索引擎的网页，该URL被认为是可以删除的相同网页。
3)基于特征码的方法。此方法使用标点符号显示在网页文本的特征中。期间两侧的五个汉字用作特征代码，以唯一地表示网页。
在这三种方法中，第一种和第三种方法大多基于内容，因此很多时候SEO人员会通过伪原创工具修改文章的内容，但在很多情况下，伪原创工具不会改变原始文本，因此有利于排名和包容。
还有一些代购源码网站使用搜索引擎漏洞，例如高质量的代购源码网站用于收集不良代购源码网站，因为高质量的代购源码网站蜘蛛将是首选，因此这种方法不利于某些低重量代购源码网站。
