最专业的八方代购网站源码!

资讯热点
人工智能在搜索算法中的应用

发布时间:2021-3-2 分类: 行业资讯

自2016年以来,IT行业最大的技术突破应该是人工智能。不仅在一年左右的时间里,而且在上一个人类曾经认为难以击败人类的游戏项目中,过去几天这种情况发生了逆转。 AlphaGo Zero of Heaven不需要从人类知识中学习。它在3天的自学中超越了人类。

人工智能领域最强大的公司,国外是谷歌,国内是百度。所有都是搜索引擎。这可能不是巧合,但由于搜索引擎是开发人工智能的最佳公司,因此它们拥有最多的数据,包括文本,图像,视频,以及地图,道路状况,用户使用数据等。

搜索引擎公司的AI结果在多大程度上适用于他们的核心业务 - 搜索?它们没有明确地向外界陈述,从搜索工程师的碎片中猜测,至少尚未大规模使用,并且没有改变搜索算法的基础知识。毕竟,虽然人工智能已经存在了几十年,但近年来效果只是突飞猛进。没有一般的人工智能。在Go规则的简单明确的领域中,牛X迁移到具有模糊规则的系统,例如搜索仍然需要一些时间。

但我认为人工智能在搜索算法中的大规模应用只是时间问题。据说百度的大型搜索部门和人工智能/深度学习部门之间存在一些矛盾。现在吴恩达已离开百度,陆奇已经对百度做了很多人事调整,而搜索部门对人工智能的拒绝可能会大打折扣。

事实上,人工智能已被用于搜索算法。举两个例子。

百度DNN模式

几个月前,我看到百度朱开华的《AI赋能的搜索和对话交互》演讲报告。几年前他还接受了朱开华的采访。那时,他还是谷歌的首席架构师。他是着名的熊猫算法的主要参与者之一。现在他是百度的首席架构师。有很多演讲,有趣的搜索标题将能够找到全文,值得深入阅读。令人惊讶的是,SEO行业中很少有人注意到有关搜索算法的这些有价值的信息。

演讲中提到了2013年推出的百度DNN模型,大大提高了语义相关性的范围和准确性。 2013年,百度相关性改进的34%来自DNN模型,2014年25%的相关性得到改善。来自DNN模型。 DNN模型使用深度学习方法,通过100亿用户点击数据训练模型,该方法具有超过1亿个参数。下面描述的谷歌RankBrain是在2015年推出的,因此百度是世界上第一家将人工智能应用于实际搜索算法的公司。

下图是DNN培训的示意图:

简单地说,相同的查询词,模型分析真实用户点击的页面标题,以及没有点击的页面标题,以便更深入地了解哪些标题满足用户的需求。通常情况下页面标题不包含查询词,但用户更喜欢单击这些页面以指示页面满足用户的需要。这些页面的标题,即使它们不包含查询词,也与查询词的含义有关。这是一个无法计算的经典页面关键字相关算法。

演讲中提到的例子:

在DNN上线之前,用户搜索“当汽车有任何车牌时”,因为信息非常少,查询字没有标题页面或页面上出现关键字,因此搜索结果质量不高高,传统搜索算法只能通过关键字匹配返回一些ghibli相关信息,但几乎没有关于任何车牌放在前面的信息。

DNN在线后的搜索结果如下:

可以看出,搜索结果中仍然没有页面,任何标题牌都放在ghibli的头部,但是用户的需求得到了解决,算法理解“之前”是“之前”和“前面”& rdquo;的这是一个意思,“在哪里放”,“如何安装”,“看””并且“任何展示位置”都是含义,因此>吉卜力车牌“ “吉卜力前面任何一辆车放置车牌”这个查询,虽然他们所含的关键词不一样。

这种对相关性的理解不是基于关键字匹配的传统搜索算法计算的,而是真实用户的点击数据告诉搜索算法。用户搜索“ghibli前面任何车牌放置的车牌”,经常点击> ghibli牌照咋&, ,相关。

Google RankBrain

2015年推出的Google RankBrain也解决了对查询词的深入理解问题,特别是长尾词,它们发现那些页面与用户的查询词不完全匹配,但实际上回答了用户的查询。它与百度DNN非常相似。谷歌没有指定RankBrain的培训方法,类似于百度DNN。

当RankBrain在2015年推出时,15%的查询单词由RankBrain处理。 2016年,所有查询词都由RankBrain处理。

Google经常引用的RankBrain示例是此查询:

什么是食物链最高层消费者的头衔

这个查询词是长尾的,精确匹配的结果相对较小,查询中的几个词很容易模糊。例如,消费者通常是消费者的意思,而食物链也可以理解为连锁餐厅,但这个完整的查询和购物中心。消费者,餐馆等的含义之间没有任何关系.RankBrain可以理解用户在食物链顶端询问的物种名称。同样,搜索结果无法按照传统的关键字匹配进行处理。

这个长尾查询的数量非常大,Google每天收到的查询中有15%以前从未见过。此类查询依赖于关键字匹配来查找高质量页面,数量太小甚至没有,但是了解查询的语义和意图,您可以找到满足用户需求且与关键字不匹配的页面。

对SEO的影响将在后面详细写出。以下是一个简短的提示:页面应包含关键字,这在当前关键字优化过程中是不可避免的。现在搜索引擎可以理解两个不同单词的含义。在将来创建或编辑页面内容时,您是否仍需要包含关键字?

« 如何通过产品设计让用户“冷静下单”? | UX设计师在2018年初需要思考的9个问题 »