简述面向互联网数据新词发现平台设计与实现

论文导读：描写与分析;北京大学;、饶萍;时间指称的照应性研究;上海外国语大学;、杨石乔;基于语料库的汉语医患会话修正研究;上海外国语大学;、朱娅蓉;教师启动的会话修正研究;上海外国语大学;、高瑛;社会文化视域下的中国英语课堂师生协商话语研究;东北师范大学;、刘建鹏;语料库支撑的系统功能语法研究;西南大学;、张璐;批
面向互联网数据的新词发现平台的设计与实现论文相关文献李跃民;王浩;赵生慧-有词典中文分词算法研究[J];滁州学院学报;、许高建;胡学钢;路遥;王庆人-一种改善的中文分词歧义消除算法研究[J];合肥工业大学学报(自然科学版);、黄德根;焦世斗;周惠巍-基于子词的双层CRFs中文分词[J];计算机研究与发展;、孙殿哲;魏海平;陈岩-Nutch中庖丁解牛中文分词的实现与评测[J];计算机与现代化;、杨文涛;司应硕;张森-GA-BP神经网络算法在中文分词分析中的应用研究[J];河南机电高等专科学校学报;、孙乐;方自金-基于互联网的信息采集系统的设计与实现[J];河北大学成人教育学院学报;、陈红英,李卫华;智能信息Agent的研究和实现[J];计算机工程与应用;、林珊,宁国宁,赵之霖;中文分词在邮件过滤系统中的应用[J];华南理工大学学报(自然科学版);、王坚,赵恒永;专业搜索引擎中文分词算法的实现与研究[J];福建电脑;、许敏;周伟灿-CAD电子图管理系统中全文检索的研究[J];微计算机信息; 王敏;叶宽余;薛峰-一种面向网店商品搜索的中文分词系统设计[A];全国第22届计算机技术与应用学术会议(CACIS·、韩冬煦;常宝宝-基于边界熵和卡方统计量的多领域适应性中文分词策略[A];中国计算语言学研究前沿进展（、修驰;宋柔-基于“大词”实例的中文分词研究[A];中国计算语言学研究前沿进展（、张梅山;邓知龙;车万翔;刘挺-统计与词典相结合的领域自适应中文分词[A];中国计算语言学研究前沿进展（、张耀允;王晓龙;王轩;徐睿峰;侯永帅;范士喜-面向开放的限定领域的交互式问答语料分析[A];中国计算语言学研究前沿进展（、王宏生;孙美玲;李家峰-隐马尔科夫模型在构建语言模型中的应用[A];创新沈阳文集（A）[C];、;基于耦合隐马尔科夫模型的听觉视觉双模态语音识别[A];第六届全国人机语音通讯学术会议论文集[C];、彭辉;翟翔-AutoCAD 年会论文集[C];、赵海;揭春雨-基于子串标注的中文分词：寻找更佳的标注单元[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];、张劲松;戴蓓倩;郁正庆;王长富-汉语识别中隐马尔科夫模型初始化的研究[A];第二届全国人机语音通讯学术会议论文集[C];1992年
论文目录
摘要4-6
Abstract6-10
第1章绪论10-18

1.1课题背景及研究的目的和作用10-11

1.2与本课题有关的国内外研究状况11-16

1.2.1新词的研究领域11

1.2.2中文新词发现目前状况11-12

1.2.3新词发现主要研究策略12-16

1.3本文的主要研究内容和章节安排16-18

第2章新词发现平台需求分析18-24

2.1系统功能需求分析18-19

2.2新词覆盖面需求分析19-21

2.3垃圾词的删除需求分析21-22

2.4新词发现平台自学习的需求分析22

2.5非功能性需求22-23

2.6本章小结23-24

第3章新词发现平台的概要设计与相关技术分析24-34

3.1新词发现平台体系架构24-26

3.2新词发现平台功能结构26-28

3.3新词发现平台相关技术分析28-33

3.1新词发现平台相关技术概述28

3.2隐马尔可夫模型28-30

3.3Viterbi算法30-32

3.4互信息32-33

3.5邻接多样度33

3.4本章小结33-34

第4章新词发现平台详细设计与实现34-60

4.1新词发现平台系统的详细设计与实现34-35

4.2隐马尔科夫模型组件详细设计与实现35-39

4.3实际语料加工组件详细设计与实现39-45

4.4新词候选词修正组件详细设计与实现45-55

4.1字串的凝聚度45-47

4.2邻接多样度47

4.3新词候选词修正算法47-55

4.5新词词表维护组件详细设计与实现55-58

4.5.1新词词表的存储结构55-56

4.5.2新词词表的删除操作56-57

4.5.3新词词表的增加操作57-58

4.6新词发现的并行化处理58-59

4.7本章小结59-60

第5章新词发现平台的测试60-76

5.1新词发现平台功能测试60-71

5.

1.0新词发现平台的系统结构测试60-61

5.

1.1隐马尔科夫模型组件的测试61-65

5.

1.2实际语料切分组件的测试65-68

5.

1.3新词候选词修正组件的测试68-70

5.

1.4新词列表维护组件的测试70-71

5.2新词发现平台测评性能指标71-75
5.

2.1准确率与召回率测试71-74

5.

2.2语料处理速度测试74-75

5.

2.3新词发现平台最优运转方式75

5.3本章小结75-76
结论76-78
主要参考文献78-83
致谢83-84
个人简历84
新词发现中文分词隐马尔科夫模型Viterbi算法短语修正
参考文献
付剑锋;面向事件的知识处理研究[D];上海大学;、李荣军;中文商品评论倾向性分析研究[D];北京邮电大学;、耿直;基于语料库的比较句式“跟、有、比”的描写与分析[D];北京大学;、饶萍;时间指称的照应性研究[D];上海外国语大学;、杨石乔;基于语料库的汉语医患会话修正研究[D];上海外国语大学;、朱娅蓉;教师启动的会话修正研究[D];上海外国语大学;、高瑛;社会文化视域下的中国英语课堂师生协商话语研究[D];东北师范大学;、刘建鹏;语料库支撑的系统功能语法研究[D];西南大学;、张璐;批评文体学[D];河南大学;、陈治平;智能搜索引擎理论与应用研究[D];湖南大学; 中国硕士学位论文全文数据库杜聪慧;面向互联网数据的新词发现平台的设计与实现[D];哈尔滨工业大学;、李轩;《汉语会话301句》语料的语用价值研究[D];吉林大学;、张小倩;情感极性转移现象研究及应用[D];苏州大学;、徐斌;对汉语中电话投诉的交流模式及特点的会话分析[D];山西大学;、刘昊;基于模板核和扩展特征的蛋白质关系抽取[D]论文导读：;大连理工大学;、周宥良;基于WEB的双语翻译对抽取策略研究;苏州大学;、孙玉霞;中文词义归纳研究;南京师范大学;、邬智慧;中文微博的语体特征研究;华中师范大学;、干红梅;对外汉语中级听力教材语料分析;暨南大学;、叶海燕;粒子群优化算法及其在股票市场预测优化理由中的应用;广州大学;上一页12
;大连理工大学;、周宥良;基于WEB的双语翻译对抽取策略研究[D];苏州大学;、孙玉霞;中文词义归纳研究[D];南京师范大学;、邬智慧;中文微博的语体特征研究[D];华中师范大学;、干红梅;对外汉语中级听力教材语料分析[D];暨南大学;、叶海燕;粒子群优化算法及其在股票市场预测优化理由中的应用[D];广州大学;