基于语义相似度的中文文本相似度算法研究
文本相似度论文 语义相似度论文 分词论文 PHP论文
论文详情
在中文信息处理中,文本相似度的计算广泛应用于信息检索、机器翻译、自动问答系统、文本挖掘等领域,是一个非常基础而关键的问题,长期以来一直是人们研究的热点和难点。目前多数文本相似度算法是以向量空间模型(VSM)为基础的,但这种方法会引起高维稀疏的问题。而且,这类算法没有很好地解决文本数据中存在的自然语言问题:同义词和多义词。这些问题干扰了文本相似度算法的效率和准确性,使相似度计算的性能下降。本文采用一种新的思路,在传统的文本相似度算法中融入语义相似度的计算以提高文本相似度计算的性能。本文对现有的文本相似度算法和语义相似度计算作了深入讨论,在此基础上提出一种基于语义相似度的中文文本相似度算法。本文运用所提出的算法针对某高校某学院的在线毕业设计管理信息系统中学生的毕业论文文本进行了相似度实验,对算法进行了有效性验证。经实验证明,本文提出的算法比传统的文本相似度算法具有更高的效率和正确性。这一课题的研究及其成果对于中文信息处理将有一定的参考价值和良好的应用前景。
摘要 | 第3-4页 |
ABSTRACT | 第4页 |
1 绪论 | 第7-16页 |
1.1 论文背景 | 第7-8页 |
1.2 中文文本相似度概述 | 第8-13页 |
1.2.1 中文文本相似度的定义 | 第8-9页 |
1.2.2 中文文本相似度的研究现状 | 第9-13页 |
1.3 本文研究内容和内容安排 | 第13-16页 |
1.3.1 本文研究内容 | 第13-14页 |
1.3.2 本文内容安排 | 第14页 |
1.3.3 本文研究的目的、意义和创新点 | 第14-16页 |
2 文本的表示模型和相似度计算方法 | 第16-22页 |
2.1 文本预处理 | 第16-18页 |
2.1.1 中文分词 | 第16-17页 |
2.1.2 停用词 | 第17页 |
2.1.3 中文文本预处理的过程 | 第17-18页 |
2.2 向量空间模型和相似度计算方法 | 第18-21页 |
2.3 小结 | 第21-22页 |
3 中文语义相似度的计算 | 第22-29页 |
3.1 概念语义相似度概述 | 第22页 |
3.2 影响语义相似度的因素 | 第22-24页 |
3.3 中文语义相似度的计算方法 | 第24-25页 |
3.4 基于知网的语义相似度计算 | 第25-28页 |
3.4.1 知网中的概念 | 第25页 |
3.4.2 词语相似度 | 第25-26页 |
3.4.3 基于知网的词汇语义相似度计算方法 | 第26-28页 |
3.5 小结 | 第28-29页 |
4 基于语义相似度的中文文本相似度算法 | 第29-33页 |
4.1 本文提出的算法思想及对已有的算法的改进之处 | 第29-30页 |
4.2 基于语义相似度的中文文本相似度算法流程 | 第30-31页 |
4.3 算法的复杂度分析 | 第31-32页 |
4.4 小结 | 第32-33页 |
5 文本相似性算法实现及其性能测试 | 第33-47页 |
5.1 实际算法实现过程 | 第33-36页 |
5.2 文本预处理 | 第36-38页 |
5.2.1 文本预处理的输入 | 第38页 |
5.2.2 分词 | 第38页 |
5.2.3 停用词 | 第38页 |
5.2.4 特征提取和降维 | 第38页 |
5.3 语义相似度的计算 | 第38-40页 |
5.3.1 知网 | 第39页 |
5.3.2 语义相似度计算的主要思路 | 第39-40页 |
5.4 基于语义相似度的中文文本相似度计算 | 第40-42页 |
5.5 实验结果与分析 | 第42-46页 |
5.5.1 测试文本的构成 | 第42页 |
5.5.2 实验结果及分析 | 第42-46页 |
5.6 小结 | 第46-47页 |
6 总结 | 第47-49页 |
参考文献 | 第49-53页 |
附录 | 第53-58页 |
致谢 | 第58-59页 |
攻读学位期间主要科研成果 | 第59页 |
论文购买
论文编号
ABS1180294,这篇论文共59页
会员购买按0.30元/页下载,共需支付
17.7。
不是会员,
注册会员!
会员更优惠
充值送钱!
直接购买按0.5元/页下载,共需要支付
29.5。
只需这篇论文,无需注册!
直接网上支付,方便快捷!
相关论文