微软帝国的缔造者比尔-盖茨(Bill Gates)曾写过一本在当时轰动一时的书——《未来之路》,他在这本276页的书中预测了微软乃至整个科技产业未来的走势。十年后,人们又一次开始对科技产业的未来展开了预测,不过这一次预测完全集中在盖茨10年前没有预测到的重要产业领域:搜索引擎。2006年5月19日和20日,雅虎欧洲研究中心和
Universitat Pompeu Fabrah大学网络搜索研究组合办的“
互联网搜索的未来”(Future of Web Search)研讨会在西班牙召开,来自17个国家的150名搜索前沿的探索者们济济一堂,对未来搜索的各种主题进行了展望。
著名搜索专家、智利科学家Ricardo Baeza-Yates在会上作了《互联网查询词挖掘的应用》(Applications of Mining Web Queries)的主题报告。今年1月,Ricardo正式加盟雅虎,负责雅虎在欧洲及拉美的研发中心。他与Berthier Ribeiro-Neto曾一起合作编写了《现代信息检索》(Modern Information Retrieval)一书,成为信息检索领域的经典教科书而广泛流传。Ricardo在加盟雅虎前是智利大学计算机科学系教授,同时也是世界上多所大学的客座教授,被公认为信息检索领域少数几位顶级专家之一。在这份报告中,他介绍了对用户搜索时使用的关键词进行分析后的各种应用:通过对查询词的聚类,借此了解用户搜索的动机,从而可以向用户推荐更好的查询词,或者对搜索结果的相关性进行改进,或者根据查询词对用户点击的网页进行分类。
另一位雅虎搜索研究专家Andrei Broder作了主题报告:《从信息检索到信息推送》(From query based Information Retrieval to context driven Information Supply)的报告。大家对于Andrei可能并不陌生,搜索日志在此前曾刊登了《对话Andrei Broder》系列文章1、2、3,初步接触了他对未来“没有搜索框的搜索”的一些畅想。
Andrei认为互联网的搜索发展可以分成四个阶段。第一个阶段是1994年到1997年,当时的搜索引擎都采用的是传统信息检索方法,只使用网页自身带有的文字信息(例如:词出现的频率,网页内容的语言等),比较典型的搜索引擎包括Altavista、Excite、Lycos等。1998年后,进入第二个阶段,搜索引擎开始大量采用网页之外的信息,包括各种超链分析算法、用户点击的跟踪和链接文字(Anchor Text)的应用等,该阶段搜索引擎代表是Google和Inktomi。目前我们正处在第三个阶段,搜索引擎开始关注用户查询词背后的需求,而不再是查询词本身,这包括语义的分析,相关内容的整合,对用户的查询提供更多帮助(例如:友好的界面、拼写纠错、相关搜索、搜索提示等)。2000年,在《互联网搜索的分类》这篇论文中,Andrei在分析后把人们上网搜索的需求分成三类:对信息的需求(例如:找新闻、找评论、找帖子等)、对导航的需求(找某个特定网站)和对交易的需求(例如:下载软件、在线购物、订机票等)。第三代搜索引擎必须根据用户的需求,进行结果的优化,比较典型的例子是雅虎快捷展现(Yahoo Shortcuts)。例如:搜索“北京 天气”时,除相关网页搜索结果外,还会显示当前北京的天气情况。
第三代搜索引擎大量利用与时空相关的Context信息,如:地理位置、查询历史、个人档案等。通过对这些相关信息的利用,可帮助筛选出不合适的结果,结果的排序可以更加个性化。随着Context信息的不断发展,Andrei认为到第四代搜索引擎后,用户的搜索将不在需要他们输入查询词,而是搜索引擎可以根据用户的行为和Context信息,主动进行信息的推送(Information Supply)。
其实,在目前的互联网上,已经有一些信息推送的例子。例如,对周期性需求的信息推送,像订阅服务(电子邮件、RSS等)或者新闻邮件提示等。再比如对一些临时性需求的信息推送,像电子商务(推送商品的配件信息、用户评论和相关商品信息等)、在线旅游(推送机票、酒店、租车等信息)以及上下文相关的广告推送。在Andrei看来,选择显示什么广告时不仅仅要看查询的关键词,还要针对用户的背景、查询的历史、用户所处的地理位置(大到国家,小到街道)和广告的显示历史进行优化匹配。在这个过程中,信息推送引擎(ISE)将对三个信息源要素进行匹配,即对用户(如:注册的档案和背景信息)、活动(如:用户操作历史和浏览网页的内容)和广告(如:广告的统计)进行匹配,排序显示最合适的广告。当用户执行了相应操作(如:点击某条广告)后,此信息会反馈到三个信息源以及信息推送引擎,以便进行下一次的广告推送,从而周而复始,成为闭环。雅虎今年7月推出的搜索广告系统Panama和微软计划开发的adCenter(微软10年后终于意识到了搜索引擎的重要性),原理大体与此类似。
整个研讨会共有17个主题报告,除上面两个外,还包括:链接型Spam的对策,P2P搜索的相关性,搜索的个性化,用于语义搜索的XML信息检索等,喜欢搜索的朋友可以下载后慢慢研读(都是英文的)。
会议期间,还举行了雅虎在巴塞罗纳研究中心的开幕仪式。上图(由左到右)为身材魁梧的大胡子Richardo和雅虎西班牙负责人Javier Rodriguez Zapatero、雅虎美国研究院副总裁Ron Brachman在开幕式上的合影。