发布时间：2021-12-11 分类： 行业资讯
从信息获取的角度来看，搜索和推荐是用户获取信息的两种主要手段。无论是在互联网上还是在离线场景中，搜索和推荐方法都共存。推荐系统和搜索引擎系统之间有什么关系？有什么不同和相似之处？海瑶SEO工程师详细阐述了二者之间的关系，分析了它们之间的异同。
主动或被动：搜索引擎和推荐系统的选择
图1：搜索引擎和推荐系统是获取信息的两种不同方式
获取信息是人类认识世界，生存和发展的唯一需要，搜索是最明确的方式，行动是“外出寻找”，寻找食物，找到一个地方等，到互联网时代，搜索引擎（搜索引擎）是满足查找信息需求的最佳工具，您输入要查找的内容（即在搜索框中输入查询词，或称为查询），搜索引擎会快速给您最好的结果，只需要生出像谷歌和百度这样的互联网巨头。
但是，除了搜索之外，还有另一种称为推荐系统（Recsys）的信息采集系统。建议也是人类发展的基本技能。你必须遇到这样的场景。地方，会找当地的朋友来打听“嗨，请推荐附近有好吃的地方吃！” ” — —知识，信息等通过推荐传播，这也是获取信息的一种方式。
搜索和推荐之间的区别如图1所示。搜索是一种非常活跃的行为，用户的需求非常明确。在搜索引擎提供的结果中，用户还可以通过浏览和点击清楚地确定是否满足用户的需求。 。但是，推荐系统被动接受信息，要求含糊不清。以购物中心为例。当用户进入商城时，如果需求不明确，此时，需要推荐系统告诉用户哪些优质商品，哪些适合的内容等，但如果用户已经非常清楚何时需要购买哪个品牌和什么类型的产品，直接去相应的商店，然后搜索。
图2：从搜索词中可以看出，用户有大量的个性化推荐
许多互联网产品需要满足用户需求。例如，提供音乐，新闻或电子商务服务的代购源码网站必须提供搜索功能。当用户想要查找歌曲或某个产品时，请输入名称。同时，还需要提供推荐功能。当用户想要听好歌，或者打发时间看新闻时，不清楚哪一个必须听，给出足够好的推荐，改善用户体验。
个性化程度的高低
除了主动和被动之外，另一个有趣的区别是个性化水平。虽然搜索引擎也可以具有一定程度的个性化，但个性化操作的整体空间相对较小。因为当需求非常明确时，找到好的或坏的结果通常没有太大的个人差异。例如，搜索“ldquo; “天气”，搜索引擎可以弥补用户所在地区的信息，给出当地天气的结果，但个性化补充后给出的结果也很清楚。
但是，推荐系统有更多的个性化空间。在“推荐电影”的情况下，一百个用户有一百种口味，并且没有“标准”答案，推荐系统。基于每个用户的历史中的观看行为，得分记录等，可以为当前用户生成最有价值的结果，这也是推荐系统具有独特魅力的地方。尽管存在许多类型的推荐（诸如相关推荐，个性化推荐等），但个性化对于推荐系统是如此重要，以至于在许多情况下每个人仅仅将推荐系统称为“个性化推荐”。 "甚至“智能推荐”
快速满足还是持续服务?
开发搜索引擎的朋友知道，评估搜索结果质量的一个重要考虑因素是帮助用户找到他们需要的结果并点击离开。在设计搜索排序算法时，您需要尽力在顶部获得最佳结果。搜索引擎的前三个结果通常会收集绝大多数用户点击。简而言之，“好”搜索算法更有效，并且需要更少的时间来获取信息。
然而，相反，推荐算法和推荐内容（例如商品，新闻等）通常紧密结合。用户获得推荐结果的过程可以是连续的和长期的，并且经常需要测量推荐系统是否足够好。根据您是否可以让用户停留更长时间（例如，购买更多产品，阅读更多新闻等），用户的兴趣越深，您就越了解用户的成功率。用户非常乐意留在产品中。
因此，对于大量基于内容的应用程序，构建优秀的推荐系统是提高性能的一种手段。
推荐系统满足难以文字表述的需求
目前，主流搜索引擎仍然使用Query来形成查询（Query）。这是因为文本是人们描述其需求的最简洁直接的方式。搜索引擎捕获和索引的大部分内容也是用文字组织的。
由于这个因素，我们的统计数据显示用户输入的搜索查询词大多是短的，并且查询词包含超过总查询量的5或5个元素（或Term）的98％（例如：Query“ Daguan “数据地址”包含两个元素“大观数据”&quoquo;&“ldquo; Address””。
另一方面，有大量用户更难以用精致的文本进行组织。例如，我想找一家离我很近的餐馆，价格低于100元。 “我正在看这款裙子与其他裙子的款式相同，价格更实惠。
一方面，几乎没有用户愿意输入这么多单词来找到结果（用户自然愿意懒惰），另一方面，搜索引擎对语义的理解还不够深入;所以当满足这些需求时，通过推荐系统设置的功能（例如页面上的“推荐推荐”，“猜你喜欢”，以及与用户的交互（如过滤，排序，点击等） ，不断积累和挖掘用户偏好。有可能满足难以用语言表达的这些需求。
在图像方面，推荐引擎也称为静默搜索，意味着用户不需要输入查询词进行搜索，但推荐引擎通过分析用户历史和当前上下文的行为自动生成复杂查询。现场。条件，反过来给出计算和建议的结果。
马太效应和长尾理论
Matnew效应指的是较强者和较弱者较弱的现象。互联网上流行的产品更受关注，不受欢迎的内容越来越被遗忘。马太效应是以圣经的寓言命名的《新约·马太福音》：“在哪里，他有一个双重称他多余;不，甚至他必须把它全部拿走。” ”的
搜索引擎充满了马太效应——如下面的谷歌点击热图，红色部分意味着更多的点击和热量，更多的紫色部分意味着更少的点击和冷，大多数用户点击两者都集中在顶部的少量结果，以及下面的结果和结果之后翻页很少受到关注。这也解释了为什么谷歌和百度广告如此有利可图，为什么企业客户应该努力做SEM或SEO以提高排名— —因为只有机会在搜索结果前排名。
马太效应完全反映在搜索引擎中：头部内容吸引了大部分点击
有趣的是，与“马太效应”相比，有一种非常有影响力的理论称为“长尾理论”。
长尾效应是克里斯安德森在2004年10月由“长尾巴”杂志主编克里斯安德森发行的“长尾”杂志中最早提出的。实际上，它是统计中的幂律和帕累托分布的扩展和口语表达，用于描述流行和不受欢迎的项目的分布。克里斯安德森通过观察数据发现，在互联网时代，由于网络技术可以让人们以非常低的成本获得更多信息和选择，因此许多代购源码网站中有越来越多的代购源码网站最初被“遗忘”。流行的东西正在重新聚焦。事实上，每个人的品味和喜好与主流并不完全相同，克里斯指出：我们发现的越多，我们就越能理解我们需要更多的选择。如果搜索引擎体现了马太效应，则长尾理论解释了推荐系统的价值。
推荐系统和长尾理论
一个实际的例子是亚马逊在线书店和传统大型书店之间的数据比较。市场上出版的书籍超过一百万册，但大部分都不能在传统的大型书店出售（实体店面积有限），但可以放在书店的显眼位置（如畅销书籍）畅销货架）。它甚至更罕见，因此传统的书店商业模式主要集中在畅销书上。然而，亚马逊等在线书店的发展为长尾书提供了无限广阔的空间。用户可以比传统书店更方便地浏览和购买这些长尾书籍，因此互联网时代出售了成千上万的小众书籍，即使它们只出售一次。一本或两本书，但因为这些书比流行书更加多样化，比如长尾，这些书的销量比那些畅销书还要多。亚马逊的史蒂夫·凯撒说：“如果我有10万本书，即使我一次只卖一本书，10年后，它们的销量也会超过最新出版的《哈利·波特》！&ndd;
长尾理论作为一种新的经济模型，已成功应用于网络经济领域。长尾资源的振兴和利用恰恰是推荐系统的好，因为用户往往不熟悉长尾内容，不能主动搜索，只能通过推荐的方式，引起用户的注意，发现用户的兴趣。帮助用户做出最终选择。
振兴长尾内容对公司来说也非常重要，创造了一个内容丰富，蓬勃发展的环境，可以保护公司的健康生态。想象一下，如果一家公司仅依靠0.1％的“爆炸性货币”商品或内容来吸引人气，那么随着时间的推移，这些爆炸不再受欢迎，并且新爆炸不能及时补充，那么企业的表现将不可避免地有巨大的波动。
仅仅依赖最受欢迎的内容的另一个无法察觉的危险是潜在用户的流失：因为完全依赖爆炸可以吸引一组用户（称为A类用户），但它也悄然排除了流行内容。用户（简称B类用户），根据长尾理论，B类用户的数量相当大，而A类用户会逐渐变为B类用户（因为人们既老又新） ，所以依靠推荐系统。充分满足用户个性化和差异化的需求，让长尾内容在合适的时间暴露出来，维护企业的健康生态，使企业运作更加稳定，波动更小。
评价方法的异同
搜索引擎通常基于Cranfield评估系统，基于信息检索中常用的评估指标，如nDCG（英文全名修改累积增益），Precision-Recall（或其组合F1），P @ N等。之前发表在InfoQ的文章《怎样量化评价搜索引擎的结果质量 陈运文》中。总的来说，评估的重点是在搜索结果的顶部尽可能地对高质量的结果进行排名。前10个结果（对应于搜索结果的第一页）几乎涵盖了搜索引擎评估的主要内容。评估的核心是让用户找到点击次数最少，速度最快的内容。
推荐系统的评估系统应该更广泛。推荐结果的数量通常要大得多。位置和场景也很复杂。从量化的角度来看，当应用于Top-N结果时，MAP（平均平均精确度）或CTR（点击率，常用于计算广告）是一种常用的测量方法;当用于评估预测问题时，RMSE（均方根误差）或MAE（平均绝对误差）是常用的定量方法。
由于推荐系统和实际业务的联系更紧密，因此从业务角度来看，有许多侧面评估方法。根据不同的业务表单，有不同的方法，例如增量点击，推荐的成功，交易转换和用户。延长停留时间和其他指标。
搜索和推荐的相互交融
搜索和推荐之间存在很多差异，但两者都是大数据技术应用的分支，并且存在很多重叠。近年来，搜索引擎逐步整合了推荐系统的结果，如右侧的“推荐推荐”，底部的“相关搜索词”等，都使用了产品的思路和计算方法。推荐系统（如下图所示）圆形区域）。
在其他平台型电子商务代购源码网站中，由于结果数量巨大且相关性没有显着差异，因此搜索结果的个性化排名存在一定的操作空间。这里使用的个性化推荐技术也促进了交易。很好的帮助。
推荐的系统元素集成在搜索引擎中
推荐系统还使用了大量的搜索引擎技术。搜索引擎解决计算性能的一个重要数据结构是Inverted Index。在推荐系统中，一类重要的算法是基于内容的推荐（基于内容的推荐），它使用大量的方法，例如倒排索引，查询和结果合并。此外，点击反馈算法也被广泛用于改善效果。
