试议分布式HDFS下文件存储与优化题目

论文导读：3.1架构设计37-393.2功能优化39-433.2.1元数据管理优化39-413.2.2数据操作流程优化41-433.3本章小结43-44第四章文件管理性能优化44-564.1文件数据块的重复数据删除44-504.1.1关键词提取对策44-474.1.2文本相似度匹配474.1.3重复数据删除设计47-504.2小文件I/O优化50-554.2.1元数据的管理50-524.2.2小文件操作流
摘要：近年来云计算得到广泛的探讨与运用,并迅速成为计算机领域最为热门的话题。云存储是在云计算概念基础上延伸和进展出来的一个新概念,其中又从Hadoop框架的HDFS存储体系最为著名。探讨发现,网络中有着大量的重复数据,数据的重复存储会对空间造成极大浪费；而且小文件数量众多,加之读写请求频繁,所有的请求都由HDFS体系中唯一的NameNode进行处理,会导致整个体系性能急剧下降。论文首先对Hadoop体系架构及实现技术进行了全面分析,并简介了重复数据删除相关技术,同时分析了HDFS在处理大量小文件时有着的问题,为论文的下一步探讨提供论述依据。本论文在传统HDFS系统架构的基础上,提出了一种新的HDFS系统架构,并对元数据管理和文件操作流程进行了设计。针对网络中有着大量重数据及小文件的不足,分别设计了相应的处理对策。本论文的主要探讨内容和创新点如下：(1)基于传统的HDFS提出了一种新的HDFS系统架构,即在每个机架新增一台NameNode负责本机架事务的处理。分析了主NameNode和机架内NameNode元数据缓存及恢复机制,并对文件操作的元数据获取历程进行了重新设计。(2)针对重复数据的不足,本论文采取双重认证的模式。首先设计了关键词提取对策,对提取结果进行哈希计算,在此基础上结合文本相似匹配技术完成重复数据的判定。此对策避开了固定长度分块重复数据删除技术的弊端,对重复数据的判定更加智能化,在节省存储空间的同时加强了重复数据删除的准确性和科学性。(3)针对小文件的处理,结合小文件合并案例,对元数据的结构、缓存内容从及更新机制进行了分析。同时,对小文件读、写和删除操作流程进行了详细分析设计。由于将小文件进行合并,节省了体系存储空间,且机架内NameNode完成了本机架内大部分请求的处理,有效缓解了主NameNode负担,以而进一步优化了体系性能。根据设计案例,文章最后进行了相应的仿真实验,以实验结果可从看出,本论文的设计在重复数据删除的准确性和科学性、小文件I/O速度及NameNode内存利用率与CPU利用率等方面的性能都有不同程度地提高,以而说明了设计的有效性和科学性。关键词：云存储论文Hadoop论文HDFS论文分布式论文数据删除论文
本论文由www.7ctime.com,需要可从关系人员哦。摘要4-5
ABSTRACT5-7
目录7-9
CONTENTS9-11
第一章 绪论11-17

1.1 探讨背景11-12

1.2 探讨作用和近况12-15

1.3 本论文的探讨内容和论文结构15-17

1.3.1 本论文的探讨内容15-16

1.3.2 论文结构16-17

第二章 Hadoop系统及相关技术简介17-37

2.1 Hadoop系统结构17-18

2.2 MapReduce编程模型18-21

2.3 分布式文件体系HDFS21-31

2.3.1 分布式文件体系模型21-22

2.3.2 HDFS系统架构及工作机制22-31

2.4 重复数据删除技术31-35

2.4.1 相同数据检测技术31-33

2.4.2 相似数据检测及编码技术33-35

2.5 小文件I/O性能分析35-36

2.6 本章小结36-37

第三章 基于HDFS文件优化存储设计37-44

3.1 架构设计37-39

3.2 功能优化39-43

3.

2.1 元数据管理优化39-41

3.

2.2 数据操作流程优化41-43

3.3 本章小结43-44
第四章 文件管理性能优化44-56

4.1 文件数据块的重复数据删除44-50

4.

1.1 关键词提取对策44-47

4.

1.2 文本相似度匹配47

4.

1.3 重复数据删除设计47-50

4.2 小文件I/O优化50-55
4.

2.1 元数据的管理50-52

4.

2.2 小文件操作流程52-55

4.3 本章小结55-56
第五章 仿真实验及数据分析56-62

5.1 测试环境部署56-57

5.2 实验案例及结果分析57-61

5.3 实验小结61-62

结论62-64
参考文献64-68
攻读学位期间发表的论文68-70
致谢70