探索并发BlueOcean海量存储系统高并发客户端设计与实现

论文导读：本论文的主要工作如下：(1)阐述了存储系统的架构演进，通过对典型海量存储系统的探讨，浅析了此类架构的关键技术。(2)浅析了目前客户端实现案例的缺陷，采取事件驱动模型设计了一个通用的高并发客户端。(3)详细描述了高并发客户端中功能模块的具体实现。(4)针对高并发客户端的实现特性，以FUSE框架优化、数据零拷贝、写并行化三个
摘要：随着信息量的飞速增加，如何高效地存储和处理海量数据成为了当今计算机科学面对的挑战。传统的文件系统在存储容量和性能的提升上已遇到瓶颈，分布式海量存储系统是未来存储进展的必定走势，在此类系统中，良好的客户端设计对于存储系统的总体性能有着重要影响。BlueOcean是基于对象存储技术实现的大规模分布式存储系统，具有性能高，容量大，可靠性强，管理简易等特性。该系统由单一元数据服务器和大量数据存储服务器构成，并通过客户端软件对运用软件提供POSIX访问接口，支持现有的绝大部分运用软件在其上透明运转。本论文对海量存储系统的关键技术与实现案例进行了深入的探讨，并在此基础上针对BlueOcean存储系统设计并实现了高并发的客户端FuseAgent。本论文的主要工作如下：(1)阐述了存储系统的架构演进，通过对典型海量存储系统的探讨，浅析了此类架构的关键技术。(2)浅析了目前客户端实现案例的缺陷，采取事件驱动模型设计了一个通用的高并发客户端。(3)详细描述了高并发客户端中功能模块的具体实现。(4)针对高并发客户端的实现特性，以FUSE框架优化、数据零拷贝、写并行化三个方面对其写操作进行优化。(5)对BlueOcean的高并发客户端进行性能测试。测试表明，对该客户端写性能的优化效果显著；并且随着并发访问文件数的增加，系统总体的数据读写性能，元数据操作性能以及事务操作性能均有很显著的提升。本论文的探讨成果对于其它的海量存储系统高并发客户端的设计也具有较好的借鉴价值。关键词：海量存储系统论文FUSE论文事件驱动模型论文高并发论文性能优化论文
本论文由www.7ctime.com,需要论文可以联系人员哦。摘要6-8
ABSTRACT8-10
目录10-13
图目录13-14
表目录14-15
第一章 绪论15-19

1.1 探讨背景及作用15-17

1.1 海量存储的近况与进展15-16

1.2 海量存储系统的新挑战16-17

1.2 探讨内容和目标17

1.3 论文结构17-19

第二章 海量存储系统19-30

2.1 存储系统架构的进展19-23

2.

1.1 直连式存储 DAS19-20

2.

1.2 网络附加存储 NAS20

2.

1.3 存储区域网 SAN20-21

2.

1.4 基于对象的存储技术 OBS21-23

2.2 典型的海量存储系统23-29

2.1 GoogleFS23-24

2.2 GlusterFS24-27

2.3 Ceph27-29

2.3 本章小结29-30

第三章 高并发客户端的架构设计30-43

3.1 BlueOcean 存储系统30-34

3.

1.1 BlueOcean 系统架构30-31

3.

1.2 元数据管理服务器31-32

3.

1.3 数据存储服务器32-33

3.

1.4 客户端架构33-34

3.2 海量存储系统客户端的架构探讨34-36
3.

2.1 用户态通用客户端34-35

3.

2.2 高性能客户端模型35-36

3.

2.3 客户端架构总结36

3.3 高并发客户端 FuseAgent 总体架构36-42

3.1 高并发客户端面对的不足37

3.2 高并发客户端事件驱动设计37-39

3.3 高并发客户端模块设计39-41

3.4 高并发客户端的执行流程41-42

3.4 本章小结42-43

第四章 高并发客户端的模块设计与实现43-62

4.1 回调机制设计43-46

4.

1.1 回调的概念43-44

4.

1.2 回调机制的设计与实现44-45

4.

1.3 高并发客户端的回调利用45-46

4.2 文件系统接口模块46-48
4.

2.1 文件系统接口总体设计46-47

4.

2.2 元数据操作交互流程47-48

4.

2.3 数据操作交互流程48

4.3 请求模块48-53
4.

3.1 Command 设计方式49-50

4.

3.2 BoReqQueue 模块50-51

4.

3.3 BoReq 模块51-53

4.

3.4 FuseReq 模块53

4.4 文件打开表模块53-56

4.1 文件打开表模块总体设计54

4.2 文件打开表模块的实现54-56

4.5 网络模块56-61

4.5.1 网络连接模块57-58

4.5.2论文导读：6.5元数据访问性能测试75-766.6事务操作性能测试76-776.7本章小结77-78第七章总结与展望78-807.1本论文总结787.2探讨展望78-80参考文献80-82致谢82-83攻读硕士学位期间已发表或录用的论文83上一页12
通信状态机模块58-59

4.5.3 网络管理模块59-61

4.6 FuseAgent 实现要点61

4.6.1 读写偏移量不足61

4.6.2 系统资源利用不足61

4.7 本章小结61-62

第五章 高并发客户端写性能优化62-69

5.1 写性能优化62-68

5.

1.1 FUSE 框架优化62-63

5.

1.2 数据零拷贝63-65

5.

1.3 数据写并行化65-68

5.2 本章小结68-69
第六章 高并发客户端的性能测试69-78

6.1 测试环境69-71

6.

1.1 硬件环境69-70

6.

1.2 测试说明70-71

6.2 写优化效果测试71-72

6.3 单个文件顺序读写性能测试72-74

6.4 多文件并发读写性能测试74-75

6.5 元数据访问性能测试75-76

6.6 事务操作性能测试76-77

6.7 本章小结77-78

第七章 总结与展望78-80

7.1 本论文总结78

7.2 探讨展望78-80

参考文献80-82
致谢82-83
攻读硕士学位期间已发表或录用的论文83