简论分布式基于HDFS云存储平台优化与实现集

论文导读：支持的不足，以及单一NameNode容易成为整个集群性能瓶颈等不足。本论文在探讨现有HDFS的基础上，给出了相应的解决案例，对于小文件不足，本论文提出了一种引入用户元数据空间的方式来将HDFS中的小文件存储合并为大文件存储；对于HDFS单一NameNode性能瓶颈不足，本论文提出了一种基于MongoDB的多NameNode解决案例。实验结果表明，本
摘要：云计算是当前探讨的热门课题，云存储作为云计算的衍生，也成为当前国内外最为热门的探讨领域。其中，Hadoop文件系统HDFS作为Google File System的开源实现，成为业界探讨云计算和云存储、实现云运用和云服务参考的标准模型。然而，现有HDFS架构却有着一些不足，典型的包括对小文件支持的不足，以及单一NameNode容易成为整个集群性能瓶颈等不足。本论文在探讨现有HDFS的基础上，给出了相应的解决案例，对于小文件不足，本论文提出了一种引入用户元数据空间的方式来将HDFS中的小文件存储合并为大文件存储；对于HDFS单一NameNode性能瓶颈不足，本论文提出了一种基于MongoDB的多NameNode解决案例。实验结果表明，本论文提出的案例，不仅拓展了HDFS集群的命名空间，而且提升了HDFS的并发读写速度。除了对HDFS现有架构进行了相关优化，本论文还在现有HDFS架构的基础上，架设了一个云存储系统，实现了文件的上传、下载、共享、浏览等功能。同时，该系统还可以对当前HDFS集群进行监控，监控信息包括集群容量信息、集群块信息，单个节点的负载信息、CPU利用信息等。云存储系统的实现，对基于HDFS的相关运用具有探讨和指导作用。关键词：云存储论文HDFS论文分布式文件系统论文小文件论文
本论文由www.7ctime.com,需要论文可以联系人员哦。摘要5-6
Abstract6-9
第一章 绪论9-17

1. 云存储探讨背景9-11

1. 云存储的概念9-10

1.2. 云存储的优势10-11

1.2. 国内外云存储探讨近况11-15

1.2. 国外云存储探讨近况11-14

1.2.2. 国内云存储探讨近况14-15

1.3. 云存储探讨作用15-16

1.4. 本论文探讨内容及章节安排16-17

第二章 现有 HDFS 架构及不足17-25
2.

1. HDFS 基本架构概述17-18

2.2. HDFS 架构详细说明18-22
2.2.

1. NameNode 节点功能及相关数据结构介绍19-21

2.2.2. DataNode 节点功能21

2.3. 相关通讯协议21-22

2.3. 现有 HDFS 架构不足22-23

2.

4. 本章小结23-25

第三章 对小文件存储的优化25-37 3.

1. 小文件存储不足25

3.

2. 小文件存储优化原理25-29

3.2.

1. 小文件优化案例25-27

3.2.2. 小文件优化案例读写流程27-29
3.

2.3. 小文件优化案例导致的不足29

3.3. 小文件存储优化实现29-31

3.4. 实验结果及浅析31-35

3.5. 本章小结35-37

第四章 对单

一、NameNode 节点限制的优化37-51

4.

1. 单点 NameNode 瓶颈不足37

4.

2. 可扩展的多 NameNode 节点优化原理37-41

4.2.

1. 优化难点37-38

4.2.2. 基于 MongoDB 的解决案例38-41
4.

3. 基于 MongoDB 的多 NameNode 节点优化实现41-48

4.4. 实验结果及浅析48-50

4.

5. 本章小结50-51

第五章 云存储平台的实现51-74 5.

1. 云存储平台架构设计51-53

5.

1. 总体设计架构51

5.

1.2. 存储平台技术架构51-53

5.

1.3. 数据库设计53

5.

1.

4. Hadoop 文件系统53

5.2. 云存储平台环境搭建53-57 5.2.

1. 服务器集群的搭建53-56

5.2.2. 开发环境的搭建56-57
5.

3. 云存储平台功能实现57-66

5.3.

1. 云存储平台功能列表57-58

5.3.

2. 云存储平台的整个文件系统结构58-59

5.3.3. 文件上传59-61
5.

3.4. 文件共享61-64

5.

3.5. 文件下载64-65

5.

3.6. 文件浏览65

5.

3.

7. 文件的其它操作65-66

5.4. 云存储平台结果展示66-73 5.4.

1. 面向用户的平台的结果展示66-70

5.4.

2. 系统监控系统结果展示70-73

5.5. 本章小结73-74
结论及展望74-76
参考文献76-79
攻读硕士学位期间取得的探讨成果79-80
致谢80