登陆注册
60097700000040

第40章 搜索引擎算法

临近下午一点,孟谦到了沪上浦东,这还是他重生后第一次来沪上,这个前世他也经常来的地方。

沪上作为华夏的金融中心,是一张给世界看的名片。

不过曾经的孟谦第一次来沪上是在07年的时候,2000年的沪上他还真没见过。

此时的浦东,已经开始耸立起高楼大厦,同时又存在大片的厂房和棚户区,车子一路开过去,可以看到很多地方正在拆迁改造。

“张总准备把分公司放在浦东么?”到了目的地后,孟谦凭借记忆对比,如果没看错的话这里应该是张江高科技园区。

浦东四大重点开发区域中,世人相对熟知的应该就是金融中心陆家嘴和科技中心张江了。

2000年的张江,领军产业是电路、软件以及生物医药。

张树新点头表示肯定,“现在南方最有发展潜力的地方,毫无疑问就是深圳和沪上浦东,而张江高科技园区,则是科技的孵化宝地啊。”

这个时候大家说到南方城市的发展潜力,尤其是科技发展,还没人会想到杭城。

来到张树新租的地方,有五名男子正等在那边,其中有两人一看就是外籍男子。

张树新一一做了介绍,这两名外籍男子一名来自IBM,一名来自谷歌,听意思要么是已经挖过来了,要么就是打算挖过来的,两人之前都是搜索引擎项目组的。

另外三名华夏人,一人是瀛海威自家的技术总监,另外两人都是从硅谷回来的,一个毕业于斯坦福大学,曾任职于英特尔,一人毕业于哈佛,曾任职于甲骨文,都是人才。

简单的打了个招呼,大家就到会议室坐着,接下去是孟谦的表演时间,他今天,要展示他的搜索引擎核心技术。

搜索引擎这个东西,需要用到网络爬虫技术、检索排序技术、网页处理技术、大数据处理技术、自然语言处理技术等,当然,2000年这个时候,还用不上自然语言处理技术,大数据处理也更后世的概念不太一样。

但说的简单一点,其实核心就是一个东西,算法。

因为每一个技术都离不开算法。

“我不太清楚在座各位在搜索引擎方面的建树和理解,我只能先按照我的节奏说下去,如果谁有问题可以随时打断我。”孟谦走到黑板前直入正题。

“在我展示我的核心技术之前,我们先来看看当下的三大主流算法,白度的超链分析,谷歌的PageRank算法以及IBM的HITS算法。

几乎所有人都觉得白度的超链分析是三个算法中最落后的,但有些事情我们还是要多角度的看一看,白度的超链分析在某种程度上可以算得上是奠定了搜索引擎的发展基础。

有一些声音说谷歌其实是剽窃了白度的超链算法,毕竟李彦宏这个专利确实在谷歌之前,我们现在不去猜测真假,但这种说法体现了一个很重要的信号,其实不管是哪一家的算法,算法基础其实都是一样的。

抓取网页信息,然后用某种机制对这些网页进行排序,当用户输入关键词进行搜索时,根据关键词匹配出按照机制进行排列的网页。

那么白度输在哪呢?关键就在于白度现在过于简单的基于在某次搜索的所有结果中被其他网页用超链接指向的越多的网页就价值越高这种基础排序方式。

相比之下,谷歌的pagerank就多了两件很重要的事情,第一件事情是,把A页面到B页面的链接解释为A给B的投票行为,谷歌在这里会同时考评A和B的等级从而形成新的等级。

也就是每一个页面都有PR值,同时你的PR值会成为其他页面PR值的参考。

然后不断的重复计算每个页面的PR。假设给每个页面一个随机PR值,那么经过不断的重复计算,这些页面的PR值会趋向于稳定,也就是收敛的状态。

至于HITS,其理论基础依然没变,它最大的特点或者说改变就在它意识到pagerank算法平均的分布权值不符合链接的实际情况。

所以HITS算法中引入了另外一种网页,称为Hub网页,Hub网页是提供指向权威网页链接集合的WEB网页。

所以使用HITS的搜索结果会比其他两者都更权威,但这个算法会大大增加计算负担,对吧?”

孟谦看了一眼IBM出来的哥们,对方愣了一下有点好像不确定的点了点头。

所以现在简单总结一下,搜索引擎的算法基础就是超链分析,算法的优劣势就在于如何让搜索结果更具有参考价值,让用户获得更有效的信息。

当然如果能直接理解用户的需求然后帮他搜索他最想要的内容,这是最理想的搜索引擎状态,但谁都知道这是不可能的。

因此搜索引擎的好坏决定的就是同样的关键词下,你是否能让相对更多的人获得他们想要的内容。

10个用户用谷歌,5个人找到了自己想要的东西,如果用我们的搜索引擎,6个人找到了自己想要的东西,在这里领域目前的技术环境下,我们就是更优秀的。

那么在这个理解基础上,我接下来要给大家介绍的,就是我的搜索引擎算法,动态规则超链分析算法。

动态规则超链分析算法有以下几个变化。

第一,刚才我们提到了,好的搜索引擎是要看在同一关键词下谁的反馈结果更能满足用户需求,那么当用户在搜索某个东西的时候,从大概率来说,他想要看到的结果应该是与这个东西具有更垂直型相关的内容。

举个例子,客户在搜索汽车的时候,不管他是想买车,还是想了解汽车知识,汽车类的专业网页对他的帮助应该都是更大的。

所以在我的算法中,对于指向某一个网站的链接,我首先会做垂直率评分,比如有现在有10个网站链接到了A,这10个网站都是汽车类网站和这10个网站都不是汽车类网站的结果,想必是肯定不一样的。

这里还有一个小小的心理问题,那就是同行之间很少会做超链接,所以拥有更多垂直类网站链接的网站,它的专业性肯定比被乱七八糟网站链接的网站要更大概率靠谱。

第二,建立关键词库热度排序机制,现在的几家搜索引擎企业都对网页做了排序,而我对关键词也做了排序,而且给关键词做排序非常简单,那就是看用户的搜索量。

就比如今天搜索汽车的用户最多,那么汽车的评分可能就是10分,这个时候,算法会分配更多的资源到汽车相关的信息上去,去抓取更多的优质网页。

这里有四个好处,提升信息反馈速度、增加热点反馈的时效性、节约计算机资源以及围绕最终目的,让更多使用我们搜索引擎的用户得到有用信息。

第三,用户反馈机制,也就是跟踪用户的点击情况和浏览情况。

还是用汽车举例,有100个用户搜索汽车后,80个点击了A网页,A网页的评级就会上升,如果有更多的用户在A网页的停留时间较长,A网页的评级也会上升,如果有更多的用户在A网页上直接进行链接等操作,A网页的评级也会上升。

也就是说,在整个网页评级系统中,加入用户反馈分。

第四,规律算法,在用户的所有行为中寻找大概率行为,并将这些大概率反馈到人工,比如说60%搜索了汽车的用户下一个搜索词都是保险。

这样的一些规律我们是无法预测的,但我们可以利用算法进行大数据挖掘,回馈的这些结果可以供人工分析部对一定的网页进行评分,这个就是人工分。

结合以上四点,在我的算法下,任何一个网页同样会有一个分数,我称其为精度分。

影响精度分的因子包括自己评分,链接的垂直网站评分,用户反馈分,人工制定分以及外链影响等。”

之后,孟谦浅尝辄止的展示了各个分支的算法逻辑和算法推演公式。

然而就在孟谦在说最后一个规律算法的过程中,来自IBM的杰尔夫突然起身惊呼,“OH MY GAD!Artificial Intelligence?!”

孟谦转过头看了一眼对方,皱了皱眉。

杰尔夫顿了顿,以为孟谦是没听懂,用奇怪的发音道,“卧槽!!!”

...

而随着杰尔夫的打断,原本都沉浸在孟谦分享中的其他四名技术人员,眼神也都出现了明显的变化...

同类推荐
  • 极致的偏爱

    极致的偏爱

    从高中到大学的甜文喔。霸道男主偶尔有点小傲娇,天才少女的女主,看他们如何相爱相杀。顾一辰:“我说我要你嘴里的糖!”林乐乐:“到底是谁求谁?”
  • 恐怖倒数

    恐怖倒数

    末日危机,腹黑阴谋,都市特工,王小草的女人有危险!......
  • 头条追逐

    头条追逐

    权欲狩猎场、娱乐圈关系图,瓦解潜规则的方法便是以规则乱规则!秦川,一个上不了台面的筦城小记,在官场途中,谁才是他的终极BOSS?娱乐圈里,谁才是他拼死要保护的女人?一份份口述,一张张照片,一段段录像,一朵朵末路狂花,该拯救谁?该放弃谁?秦川,最后一刻了!把你手上的黑名单曝光吧!
  • 暗影杀手

    暗影杀手

    握影杀之术,承师尊之命,护美女总裁,杀手之王,君临天下!
  • 最强丹神

    最强丹神

    神秘高手追杀。被困禁地、以金丹修为强行炼制传说中人神丹的叶默,被丹劫劈落神魔崖。再醒来,发现已经物是人非。熟悉的一切全都不见了,自己,更是被人沉尸湖底……
热门推荐
  • 平凡之战御天下

    平凡之战御天下

    方云凡它一直认为他是个平凡人。但是他却有个不平凡的老爹不平凡的老妈不平凡的爷爷最主要的是他有个不平凡的大脑...
  • 狂斩天地

    狂斩天地

    一个父母刚刚双亡且修炼天赋极差的少年,在落魄之际,却被家族中人欺凌践踏,最终无情驱逐,连带死去的父母也一并驱逐在外。少年离开家族之际,面对着族人的冷落和无情,当场立下誓言,终有一日必回家族,将父母之名刻于族谱之首!可面对着这个以武为尊的茫茫世界,毫无天赋的他该何去何从?又如何重回家族?又如何将父母之名刻于族谱之首?又是什么改变他的命运,让他参破武道,夺取造化!让他心生怒意,伏诛涅槃!让他狂斩天地,化生轮回!在武者天下,何以一路越过重重坎坷,踏上武道巅峰!(此书已A签,朋友们放心收藏,多多推荐点击。)
  • 绽放人生

    绽放人生

    一个失败的企业白领,一场车祸后,穿越到了异世大陆,从而绽放了一场精彩人生……
  • 海水漫过的足迹

    海水漫过的足迹

    “我与你的青春,都是海水漫过的足迹”——by竺翎三千
  • 三生姻缘传

    三生姻缘传

    她是传说中的女神,她是人们心中的偶像。她的前世乃瑶池雪湚仙子的化身,本有一个青梅竹马两小无猜的玩伴,却因天子一道圣旨而殒命芳华。她的经历与众不同,曾被帝王两次敕封。她的命运凄苦乖舛,但结果却非常完美。她本是一个无忧无虑,天直活泼聪明可爱的小九妹,只因家中遭逢巨难,立誓要顶天立地,重振家园,因而造就了一段惊天泣地千古流传崔人泪下的佳话。她就是传说中的祝英台,一个人们既熟悉又陌生的祝英台。因为,在传说中的祝英台是这样的------
  • 天行

    天行

    号称“北辰骑神”的天才玩家以自创的“牧马冲锋流”战术击败了国服第一弓手北冥雪,被誉为天纵战榜第一骑士的他,却受到小人排挤,最终离开了效力已久的银狐俱乐部。是沉沦,还是再次崛起?恰逢其时,月恒集团第四款游戏“天行”正式上线,虚拟世界再起风云!
  • 屏之后

    屏之后

    屏之前,屏之间,屏,之后。每个人,都有一段美好。每个人,亦有一段悲伤。一生,她与他相爱。一世,她与他对立。一生,她负了他。一世,他令她殇。纠结,逼迫,血仇......种种因素,注定她与他错过。他说,她变了。她说,变的,自始至终都是他。他,她,终隔着一层屏障。即使是近在咫尺,也如远在天涯般。
  • 天行

    天行

    号称“北辰骑神”的天才玩家以自创的“牧马冲锋流”战术击败了国服第一弓手北冥雪,被誉为天纵战榜第一骑士的他,却受到小人排挤,最终离开了效力已久的银狐俱乐部。是沉沦,还是再次崛起?恰逢其时,月恒集团第四款游戏“天行”正式上线,虚拟世界再起风云!
  • 枭武都市

    枭武都市

    以武为尊的华夏大陆,且看秦无墨如何带领着自己的一小伙伴一步一步走上武道最巅峰。
  • 柒而不舍,煜众不同的青春

    柒而不舍,煜众不同的青春

    每个人都有青春,属于你自己的青春,独一无二的青春。它的来到,就像一阵风,风去了,人还在。