文学驿站

手机浏览器扫描二维码访问

第四十章 搜索引擎算法（第1页）

临近下午一点，孟谦到了沪上浦东，这还是他重生后第一次来沪上，这个前世他也经常来的地方。

沪上作为华夏的金融中心，是一张给世界看的名片。

不过曾经的孟谦第一次来沪上是在07年的时候，2000年的沪上他还真没见过。

此时的浦东，已经开始耸立起高楼大厦，同时又存在大片的厂房和棚户区，车子一路开过去，可以看到很多地方正在拆迁改造。

“张总准备把分公司放在浦东么？”

到了目的地后，孟谦凭借记忆对比，如果没看错的话这里应该是张江高科技园区。

浦东四大重点开发区域中，世人相对熟知的应该就是金融中心陆家嘴和科技中心张江了。

2000年的张江，领军产业是电路、软件以及生物医药。

张树新点头表示肯定，“现在南方最有发展潜力的地方，毫无疑问就是深圳和沪上浦东，而张江高科技园区，则是科技的孵化宝地啊。”

这个时候大家说到南方城市的发展潜力，尤其是科技发展，还没人会想到杭城。

来到张树新租的地方，有五名男子正等在那边，其中有两人一看就是外籍男子。

张树新一一做了介绍，这两名外籍男子一名来自IBM，一名来自谷歌，听意思要么是已经挖过来了，要么就是打算挖过来的，两人之前都是搜索引擎项目组的。

另外三名华夏人，一人是瀛海威自家的技术总监，另外两人都是从硅谷回来的，一个毕业于斯坦福大学，曾任职于英特尔，一人毕业于哈佛，曾任职于甲骨文，都是人才。

简单的打了个招呼，大家就到会议室坐着，接下去是孟谦的表演时间，他今天，要展示他的搜索引擎核心技术。

搜索引擎这个东西，需要用到网络爬虫技术、检索排序技术、网页处理技术、大数据处理技术、自然语言处理技术等，当然，2000年这个时候，还用不上自然语言处理技术，大数据处理也更后世的概念不太一样。

但说的简单一点，其实核心就是一个东西，算法。

因为每一个技术都离不开算法。

“我不太清楚在座各位在搜索引擎方面的建树和理解，我只能先按照我的节奏说下去，如果谁有问题可以随时打断我。”

孟谦走到黑板前直入正题。

“在我展示我的核心技术之前，我们先来看看当下的三大主流算法，白度的超链分析，谷歌的PageRank算法以及IBM的HITS算法。

几乎所有人都觉得白度的超链分析是三个算法中最落后的，但有些事情我们还是要多角度的看一看，白度的超链分析在某种程度上可以算得上是奠定了搜索引擎的发展基础。

有一些声音说谷歌其实是剽窃了白度的超链算法，毕竟李彦宏这个专利确实在谷歌之前，我们现在不去猜测真假，但这种说法体现了一个很重要的信号，其实不管是哪一家的算法，算法基础其实都是一样的。

抓取网页信息，然后用某种机制对这些网页进行排序，当用户输入关键词进行搜索时，根据关键词匹配出按照机制进行排列的网页。

那么白度输在哪呢？关键就在于白度现在过于简单的基于在某次搜索的所有结果中被其他网页用超链接指向的越多的网页就价值越高这种基础排序方式。

相比之下，谷歌的pagerank就多了两件很重要的事情，第一件事情是，把A页面到B页面的链接解释为A给B的投票行为，谷歌在这里会同时考评A和B的等级从而形成新的等级。

也就是每一个页面都有PR值，同时你的PR值会成为其他页面PR值的参考。

然后不断的重复计算每个页面的PR。

假设给每个页面一个随机PR值，那么经过不断的重复计算，这些页面的PR值会趋向于稳定，也就是收敛的状态。

至于HITS，其理论基础依然没变，它最大的特点或者说改变就在它意识到pagerank算法平均的分布权值不符合链接的实际情况。

所以HITS算法中引入了另外一种网页，称为Hub网页，Hub网页是提供指向权威网页链接集合的WEB网页。

所以使用HITS的搜索结果会比其他两者都更权威，但这个算法会大大增加计算负担，对吧？”