文档版本 01 (2013-02-27) 华为专有和保密信息
版权所有华为技术有限公司 i
版权所有华为技术有限公司2013。 保留一切权利
非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传
播
商标声明
和其他华为商标均为华为技术有限公司的商标
本文档提及的其他所有商标或注册商标，由各自的所有人拥有
注意
您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务
或特性可能不在您的购买或使用范围之内。除非合同另有约定，华为公司对本文档内容不做任何明示或默示
的声明或保证
由于产品版本升级或其他原因，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本
文档中的所有陈述、信息和建议不构成任何明示或暗示的担保
华为技术有限公司
地址： 深圳市龙岗区坂田华为总部办公楼 邮编：518129
网址： http://support.huawei/enterprise
客户服务邮箱： ChinaEnterprise_TAC@huawei
OceanStor N9000分布式存储系统产品技术白皮书 目录
文档版本 01 (2013-02-27) 华为专有和保密信息
版权所有华为技术有限公司
ii
目录
1 元数据保护 .. 3
1.1 OceanStor 9000 大数据存储系统 ...... 3
1.1.1 技术原理 ........... 3
1.1.2 可靠性建模........ 6
1.1.3 故障抢救 ........... 8
OceanStor N9000分布式存储系统技术白皮书 元数据保护
文档版本 01 (2013-02-27) 华为专有和保密信息
版权所有华为技术有限公司1 元数据保护
1.1 OceanStor 9000 大数据存储系统
OceanStor 9000大数据存储系统是一套全对称结构的，基于标准X86服务器架构的分
布式NAS存储系统。由于其对称性的特点所以系统中没有任何集中点，不会因为单一
节点故障造成数据不可访问，同时也可以很方便地实现扩展
本文将重点介绍OceanStor 9000如何实现元数据的保护
1.1.1 技术原理
为实现数据保护和高性能读写，OceanStor 9000系统对元数据进行多路Mirror的保护
创建新文件时文件系统会按照配置的保护级挑选合适的节点和其上的硬盘，组成一个
逻辑硬盘组。一个硬盘可以同时属于多个逻辑硬盘组。在节点数足够多的情况下，一
个逻辑硬盘组的硬盘会尽可能分布到不同的节点上
文件的元数据以多个副本的方式在逻辑硬盘组的每个成员上都保留一份相同的拷贝
每次修改时，通过节点间事务机制来保证各成员之间数据的一致，并通过版本号来区
分两次不同操作更新的元数据
文件或目录的元数据保护级取决于所设定的冗余配比，当冗余配比为N+M的时候，元
数据为2M+3路mirror保护，以保证元数据比数据可靠性更高从而元数据不会先被损
坏，系统级（根目录等）元数据配以最高冗余比，即写11份
OceanStor N9000分布式存储系统技术白皮书 元数据保护
文档版本 01 (2013-02-27) 华为专有和保密信息
版权所有华为技术有限公司图 1 元数据多路mirror
当系统中有某个盘故障不能完成操作时，可分为两种情况
第一种情况是故障硬盘只是由于暂时的IO繁忙，或者硬盘所在的节点暂时离线等原因
造成的瞬时故障，这时OceanStor 9000会将未完成操作的盘作为日志记录下来，并在
将来这些故障的部件恢复后启动自动的恢复（虚线部分示意）操作，操作过程为根据
日志记录从其他成员上把故障成员不在线期间的差量数据同步过来。在这种情况下，
成员盘并没发生变化
Disk
Disk
Disk
…
Disk
Disk
Disk
…
Disk
Disk
Disk
…
Disk
Disk
Disk
…
Disk
Disk
Disk
…
元数据
副本
元数据
副本
元数据
副本
元数据
副本
元数据
副本
文件元数据
节点1 节点2 节点3 节点4 节点5。