nbhkdz.com冰点文库

现代信息检索技术_图文

时间:2013-01-18


Introduction to Information Retrieval 中科院研究生院2011年秋季课程《现代信息检索》

更新时间: 2011/9/14

现代信息检索 Modern Information Retrieval
第0讲 课程简介 About the course
授课人:王斌

http://ir.ict.ac.cn/~wangbin
*改编自”An introduction to Information retrieval”网上公开的课件,地址 http://nlp.stanford.edu/IR-book/

现代信息检索

提纲
① 什么是信息检索?

② 为什么要学习信息检索?
③ 课程情况

2

现代信息检索

提纲
① 什么是信息检索?

② 为什么要学习信息检索?
③ 课程情况

3

现代信息检索

? 从几个互联网应用说起……

4

现代信息检索

搜索引擎

中科院研究生院2011年度秋季课程

5

现代信息检索

中科院研究生院2011年度秋季课程

6

现代信息检索

中科院研究生院2011年度秋季课程

7

现代信息检索

三个应用例子的共同特征
? 给定需求(或者是对象),从信息库中找出与之最 匹配的信息(或对象)
? Google的例子:需求 “现代信息检索” ? 卓越-亚马逊的例子:对象 “天王表-石英女表 LS3522S(黑色)” ? 世纪佳缘网的例子:
? 对象 “你自己”!

8

现代信息检索

信息检索
? 给定用户需求返回满足该需求信息的一门学科。 通常涉及信息的获取、存储、组织和访问。 ? 从大规模非结构化数据(通常是文本)的集合(通常 保存在计算机上)中找出满足用户信息需求的资料 (通常是文档)的过程。 ? “找对象”的学科,即定义并计算某种匹配“相 似度”的学科。

9

现代信息检索

信息检索技术的应用

舆情分析

推荐 搜索
IR技术

情报处理 挖掘

内容安全

10

现代信息检索

信息检索应用系统
? 搜索系统
? Web搜索引擎 ? IBM Waston问答系统 ? ……

? 推荐系统
? 淘宝网 ? 豆瓣网 ? 当当网

11

现代信息检索

从信息规模上分类
? 个人信息检索:个人相关信息的组织、整理、搜 索等。桌面搜索(Desktop Search)、个人信息管理 (PIM = Personal Information Management)、个人数 字记忆(Personal Digital Memory) ? 企业级信息检索:在企业内容文档的组织、管理、 搜索等。内容管理(Content Management) ? Web信息检索:在超大规模数据集上的检索。

中科院研究生院2011年度秋季课程

12

现代信息检索

提纲
① 什么是信息检索?

② 为什么要学习信息检索?
③ 课程情况

中科院研究生院2011年度秋季课程

13

现代信息检索

市场发展的需求
? 用户需要信息检索技术:互联网的信息量太大、噪音太多, 寻找所需要的信息非常不容易 ? 公司需要信息检索技术:搜索引擎改变了很多传统的生活 方式,Yahoo、Google、Baidu,还有一些公司如Microsoft、 Sina、Sohu、Tecent、Netease都加入到这个搜索技术的竞 争。不只是搜索引擎才需要信息检索技术,电子商务(如 亚马逊网站、阿里巴巴)、社交网(微博、Facebook、twitter、 校内网)、数字图书馆、大规模数据分析等都需要信息检 索技术
? 人才的竞争:搜索相关人才人数出现缺口,他们非常抢手,待遇 如日中天 ? 是不是泡沫:2000年左右出现的网络泡沫和现在的互联网有什么 不同,搜索引擎在其中占什么位置?
14

现代信息检索

几个应用需求
? ? ? ? ? ? ? ? 移动搜索 产品搜索 专利搜索 广告推荐 消费行为分析 网络评论分析 SEO营销 ……
15

现代信息检索

对相关专业研究生的基本要求
? 信息检索技术是内容应用特别是互联网内容应用 的核心技术,可以说在这些应用中无处不在 ? 信息检索将会成为一门计算机专业的基础学科
? 搜索(狭义的信息检索)的三个层次(个人观点)

16

现代信息检索

应用层次:搜索是一项非常重要的应用!

中科院研究生院2011年度秋季课程

17

现代信息检索

中间层次:搜索是极其重要的API

中科院研究生院2011年度秋季课程

18

现代信息检索

www.Googlefight.com

中科院研究生院2011年度秋季课程

19

现代信息检索

介绍一本有趣的书!

中科院研究生院2011年度秋季课程

20

现代信息检索

核心层次:搜索是未来操作系统的重要组成部分!

中科院研究生院2011年度秋季课程

21

现代信息检索

提纲
① 什么是信息检索?

② 为什么要学习信息检索?
③ 课程情况

22

现代信息检索

课程的宗旨
? 信息检索的基本原理、模型和方法(含部分机器学 习、自然语言处理方法) ? 信息检索系统的基本实现方法 ? 如何进行(信息检索)研究
? 选题、查找文献、读论文、做实验、写论文、作报告 等等

23

现代信息检索

老师介绍(1)
? 主讲老师:王斌,中科院计算所博士毕业,副研 究员,博士生导师。现为中科院计算所前瞻研究 实验室信息检索课题组负责人。
? ? ? ? http://ir.ict.ac.cn/~wangbin/ wangbin@ict.ac.cn 新浪微博:计算所王斌http://weibo.com/wang2bin1 办公电话:62601350

24

现代信息检索

老师介绍(2)
? 助教:

中科院研究生院2011年度秋季课程

25

现代信息检索

本课程的特点
? 不是教学生学怎么使用信息检索工具(另有课程), 而是了解信息检索工具背后的基本原理和技术, 并且能够进行深层的研究或开发相关的应用。知 其然知其所以然。 ? 基本原理+广泛实践

26

现代信息检索

授课内容简介(传统角度总结)
? 信息检索的基本概念 ? 信息检索的评价 ? 信息检索模型和算法
? ? ? ? ? ? ? 模型(布尔模型、向量模型、概率模型、语言模型) 相关反馈、查询扩展 文本处理技术 文本分类和聚类技术(倾向性分析) 信息过滤技术 信息组织和索引 并行和分布式检索

? 信息检索的应用
? WEB检索
27

现代信息检索

授课方案
? 课堂讲述和课后练习相结合 ? 讲授内容既包含传统内容,也注意吸收最新研究 成果 ? 学术内容和业界进展相结合 ? 既考虑一般学生普及入门的需求,也考虑相关专 业学生更高的要求 ? 尽量用简单而风趣的语言、形象而逼真的例子进 行讲授

28

现代信息检索

课程基础
? 数学基础
? 概率统计 ? 线性代数

? 计算机基础
? 算法和数据结构 ? 编程

29

现代信息检索

考核方式
? 平时作业+期末考试(开卷)
? ? ? ? ? ? 不定期考勤 5% 若干小作业 15% 1个大作业 30% 1篇读书报告 15% (论文阅读) 期末考试 35% (课堂开卷) 具体参考课程网站

30

现代信息检索

2006年选课情况分析
? 来自13个不同培养单位的62名学生选择本课程, 其中计算所25人、软件所13人、自动化所5人 ? 计算机类专业有48人(占总数的77.4%),图书情报 类专业学生有7人(占总数的11.3%),其他专业背 景的学生7人(占总数的11.3%)。

31

现代信息检索

2006年考试结果分析

32

现代信息检索

2007年选课情况分析
? 来自12个单位的71人选择该课程,其中计算所30 人、网络中心8人、院图7人、软件所和自动化所 各6人、其他单位14人。 ? 计算机类(计算机、自动化)专业58人(占总数的 81.7%)、图书情报类专业9人(占总数的12.7%) 、 其他专业(信号处理、数学等)4人 (占总数的5.6%)

33

现代信息检索

2007考试结果分析

16 14 12 10 8 6 4 2 0 60

65

70

75

80

85

90

95
34

现代信息检索

2008/2009/2010?

35

现代信息检索

国际著名研究机构和代表人物
? 美国康奈尔大学 Salton (1927-1995)
? 现代信息检索的奠基人,倡导向量空间模型 ? SMART的完成人 ? 第一任Salton奖(1983年)得主,ACM Fellow

? 英国剑桥大学 Sparck Jones (1935-2007)
? 概率检索模型的提出者之一 ? NLP和IR中的先辈 ? 曾获ACL终身成就奖和1988年Salton奖

36

现代信息检索

国际著名研究机构和代表人物
? 微软英国剑桥研究院、伦敦城市大学 Robertson
? 概率检索模型的先驱和倡导者 ? 开发了OKAPI检索系统 ? 2000年Salton奖得主

? 美国 UMass CIIR W. B. Croft,ACM Fellow
? 基于统计语言建模IR模型的提出者和倡导者 ? 和CMU共同开发了Lemur工具 ? 2003年Salton奖得主

37

现代信息检索

国际著名研究机构和代表人物
? 英国Glasgow大学 Rijsbergen, ACM Fellow
? 信息检索逻辑推理学派的提出者和倡导者 ? 现在试图用量子的方法解决IR问题 ? 2006年Salton奖得主

? 微软美国研究院 Susan Dumais
? 隐性语义索引LSI的提出者 ? 2009年Salton奖得主

38

现代信息检索

中科院研究生院2011年度秋季课程

39

现代信息检索

中科院研究生院2011年度秋季课程

40

现代信息检索

中科院研究生院2011年度秋季课程

41

现代信息检索

国际著名研究机构和代表人物
? ? ? ? ? ? 美国CMU 美国UIUC 微软研究院 IBM研究院 Google研究院 Yahoo!研究院

42

现代信息检索

一些活跃的华裔学者
? 加拿大蒙特利尔大学聂建云教授
? 跨语言检索 ? IR模型

? 美国UIUC 翟成祥(Chengxiang Zhai博士)
? IR模型、主题模型(Topic Model)

? 美国CMU 杨颐明(Yiming Yang)教授
? 文本分类领域最著名的学者之一

43

现代信息检索

一些活跃的华裔学者
? 台湾中研院 简立峰
? 号称“中文搜索”第一人 ? 加入Google研究院

44

现代信息检索

国内一些相关研究机构
? ? ? ? ? ? ? ? ? 北京大学 复旦大学 清华大学 哈尔滨工业大学 上海交通大学 中科院计算所 中科院软件所 中科院自动化所 ……
45

现代信息检索

重要会议
? 国际会议(COLING2010、SIGIR2011将在北京举 行):
? ? ? ? SIGIR、ACL、WWW、SIGKDD、WSDM、ICML CIKM、EMNLP、COLING TREC、NTCIR评测会议 ECIR、AIRS

? 国内会议:
? 全国信息检索学术会议(1年一届) ? 全国计算语言学联合会议(2年一届) ? 搜索引擎和WEB挖掘学术会议(1年一届,上半年)
46

现代信息检索

ACM SIGIR
? ACM:美国计算机学会 ? SIGIR:special interest group on information retrieval,特定兴趣组 ? ACM SIGIR Conference:IR领域的最重要会议, 起始于1971年,2009年是第31届。

47

现代信息检索

IR vs. 其他学科
? ? ? ? ? IR vs. NLP(自然语言处理) IR vs. ML(机器学习) IR vs. DM(数据挖掘) IR vs. SA(统计分析) ……

48

IR及相关研究领域重要会议
Learning/Mining
ICML
NIPS, UAI

Applications
ISMB
RECOMB, PSB

WWW

Info. Science
ASIS

Statistics

ACM SIGKDD
AAAI

Info Retrieval
ACM SIGIR

JCDL Databases
ACM SIGMOD

NLP ACL

HLT

ACM CIKM

TREC

COLING, EMNLP, ANLP

SOSP

VLDB, PODS, ICDE

Software/systems
OSDI
49

*本页借用了Chengxiang Zhai的课件

现代信息检索

重要期刊
? 国际:
? ACM Transactions on Information Systems (TOIS) ? ACM Transactions on Asian Language Information Processing (TALIP) ? Information Processing & Management (IP&M) ? Information Retrieval

? 国内
? 中文信息学报 ? 情报学报

50

现代信息检索

重要工具
? ? ? ?
? ? ? ? ?

Lemur、Indri:包含各种IR模型的实验平台,C++ SMART:向量空间模型工具, C编写 Weka:数据挖掘工具,Java编写 Lucene:开源检索工具,Java版本受维护,存在 各种语言编写的其他版本 Nutch:开源爬虫,Java版本 Sphinx:开源检索工具,C++ Larbin:采集工具,C++ Firtex:检索平台,C++,计算所开发 更多:http://www.searchtools.com/tools/tools51

现代信息检索

网站地址
? 外部网站: ? http://ir.ict.ac.cn/ircourse/ ? 研究生院课程主页:http://www2.gucas.ac.cn/
? 课程微博:Gucas_2011_IRCourse, http://q.weibo.com/311606

52

现代信息检索

教材
? 教材主页: ? http://ir.ict.ac.cn/~wangbin/i ir-book/ ? 注意要选第二次印刷的 版本,可以直接上图灵出 版社的淘宝店订购。 ? 网上有英文电子版(对照阅 读) gigapedia.com

53

现代信息检索

原版
? ? ? ? ? 内容比较新 例子多 有关NLP和分类聚类的内容较丰富 有相关最新算法的介绍 有实现相关的内容

54

现代信息检索



55

现代信息检索

参考书籍及文献
? ? ? ? ? ? Christopher D. Manning, Prabhakar Raghavan & Hinrich Schü Introduction to Information tze, Retrieval, Cambridge University Press 2008 Electronic version (draft) can be downloaded from http://www-csli.stanford.edu/~hinrich/information-retrieval-book.html B. Croft, D. Metzler, T. Strohman,Search Engine: Information Retrieval in Practice, Pearson Education, 2009 (国内机械工业出版社出版的影印版和中文翻译版) Baeza-Yates, R. & B. Ribeiro-Neto. eds. Modern Information Retrieval. ACM Press, 1999 (国内 有机械工业出版社出版的影印版和中文翻译版) 李晓明,闫宏飞,王继民著,搜索引擎--原理、技术与系统,北京:科学出版社,2005 李国辉等著,信息的组织与检索,科学出版社,2003年 Witten, Ian et al. Managing Gigabytes. Orlando, FL: Morgan Kaufmann Publishers Incorporated, 1999 William Frakes & Ricardo Baeza-Yates, Information Retrieval Data Structures and Algorithms. PrenticeHall, 1992 Karen Sparck Jones & Peter Willet eds. Readings in Information Retrieval, Morgan Kaufmann, 1997 刘挺等著,信息检索系统导论,机械工业出版社,2008 SIGIR/WWW/SIKDD/TREC/CIKM/ Proceedings More resources see: http://nlp.stanford.edu/IR-book/information-retrieval.html
56

?
? ? ? ?

现代信息检索

对不同专业学生的期望
? 计算机类:学完了以后知道原理,能够构建系统 ? 非计算机类:学完了以后知道原理,能够指挥构 建系统

57

现代信息检索

Doug Cutting
? ? ? ? ? 斯坦佛大学语言学学士 开源社区的巨牛 Lucene Nutch Hadoop

58


现代信息检索技术_图文.ppt

现代信息检索技术 - Introduction to Information R

现代信息检索技术与策略._图文.ppt

现代信息检索技术与策略. - 第2章 现代信息检索技术与策略 ? ? ? ? ?

专题二:现代信息检索技术_图文.ppt

专题二:现代信息检索技术 - 专题二: 专题二: 信息检索技术 本专题内容 ?

现代信息检索系统.._图文.ppt

计算机检索技术从脱机阶段进入联机 信息检索时期。联机检索是计算机技术、信息处理 技术和现代通信技术三者的有...

现代信息检索技术(第一讲).jsp_图文.ppt

现代信息检索技术(第一讲).jsp - 现代信息检索技术 邮箱:xxjsjs38

现代信息检索_图文.pdf

现代信息检索 - 主要介绍信息检索的一些技术... 现代信息检索_IT/计算机_专业资料。主要介绍信息检索的一些技术 现代信息检索 Modern Information Retrieval 第二章 信息...

现代信息检索绪论_图文.ppt

现代信息检索绪论_幼儿读物_幼儿教育_教育专区。现代信息检索绪论,现代科技信息检索,现代信息检索大赛是什么,什么是信息检索与利用,信息检索与利用简答题,信息检索与...

现代信息检索第一章_图文.ppt

现代信息检索第一章_其它_高等教育_教育专区。一.Internet的发展史网络的定义 ?...ac、 gov等,如http://www.chinaauto.ac.cn(中国汽车行业经济 技术信息网)。...

现代信息检索第十章_图文.ppt

现代信息检索第十章_其它_高等教育_教育专区。第10章 数据与事实信息检索 1

文献信息检索技术_图文.ppt

文献信息检索技术 - 第三讲 文献信息检索技术 信息检索技术是指利用现代信息检索系统 ( 计 算机 ) ,如联机信息检索、光盘数据库检索和 网络信息检索、全文检索等...

信息检索介绍_图文.ppt

…… 10 现代信息检索 信息检索技术的应用 舆情分析 推荐 搜索 IR技术 情报处理 挖掘 内容安全 11 现代信息检索 信息检索应用系统 ? 搜索系统,用户的意图相对明确...

信息检索0-简介_图文.ppt

…… 10 现代信息检索 信息检索技术的应用 舆情分析 推荐 搜索 IR技术 情报处理 挖掘 内容安全 11 现代信息检索 信息检索应用系统 ? 搜索系统 ? Web搜索引擎(如...

浅谈信息检索技术_图文.doc

浅谈信息检索技术 - 浅谈信息检索技术 浅谈信息检索技术 关键字:概念 常见信息检索技术 多媒体信息检索技术 概念:现代信息检索技术大体上 分为广义和狭义两种概念。...

现代信息检索7_图文.ppt

现代信息检索7 - CNKI产品培训 同方知网(北京)技术有限公司 2008年

现代信息检索第5章_图文.pdf

现代信息检索第5章 - 随着互联网数据指数级的增长,数据挖掘开始成为新兴的热门技术。信息检索是很重要的一门学科,《Introduction to information retrieval》是信...

现代信息检索第0章_图文.pdf

现代信息检索 Modern Information Retrieval 第○章

现代信息检索_图文.ppt

现代信息检索_工学_高等教育_教育专区。内容充实 文献检索主讲:周育红 2.3.

现代信息检索第2章-IR评价_图文.pdf

(Text REtrieval Conference), Donna Harman, 美国标准技术研究所, 1992 - (上百万 篇文档),信息检索的“奥运会”中国科学院研究生院课程2006 评价指标分类对单个...

现代信息检索第十章分析_图文.ppt

现代信息检索第十章分析_中职中专_职业教育_教育专区。现代信息检索第十章分析 第

现代信息检索第一章分析_图文.ppt

现代信息检索第一章分析_中职中专_职业教育_教育专区。现代信息检索第一章分析 ...ac、 gov等,如http://www.chinaauto.ac.cn(中国汽车行业经济 技术信息网)。...