Fedstore中亚联邦私有云存储系统 目录 发展历程 企业网盘 集群存储 私有云业务发展历程 数据服务平台 目录 发展历程 企业网盘 集群存储 用户需求 在企业内部，根据实际情况，最为迫切解决以下几个实际需求： 建设目标 系统架构 特色功能：独特的网盘模式 特色功能：完善的权限控制 特色功能：完善的审计功能 特色功能：三员管理模式 用户行为审计 审计结果导出 第三方审计系统对接 安全员 用户管理 部门管理 群组管理 外链管理 锁定管理 系统管理员 管理员行为审计 安全员行为审计 审计员 特色功能：移动办公 特色功能：可定制化 完整开放API体系，适用于客户的其他系统开发，方便其他产品与私有云整合。 核心规则引擎与用户定制层分离，将定制版本对产品升级的影响最小化。 目录 发展历程 企业网盘 集群存储 Fedstore中亚联邦安全集群存储系统介绍 Fedstore中亚联邦安全集群存储系统是一款面向大数据存储的产品，采用自主研发的分布式文件系统，面向应用提供通用的存储接口。 优势： 它具有高性能、高可靠性、高扩展性、高兼容性、易管理等优势； 重点行业： 主要针对大型企业、广电、金融、科研、勘探、气象等重点行业； 应用领域： 能够满足医学影像、媒体娱乐、基因测序、卫星图像、地震勘探、产品研发和企业IT（大规模主目录、归档、虚拟化、分析）等多种大数据业务应用的需要。 系 负载均衡 聚合带宽 简化存储结构 全局冗余备份 真正的全局共享 文件切片分布式储存 系统设计目标 统 键 关 的 术 技 客户应用架构图 … 元数据服务器集群 智能存储服务器集群 千兆/万兆以太网/InfiniBand 应用服务器集群 … 大于20000节 点并发访问 2000亿以 上文件快速定位与检索 单文件系统超过300PB存储容量 与数百GB/S的聚合带宽 系统逻辑架构图 安全 性能 接口 用户端 管理端 应用层 功能层 核心层 基础层 存储层 数据多副本 字节锁 故障容错 快速恢复 聚合带宽 元数据管理 并发控制 索引管理 POSIX模块接口 Windows Linux Mac Windows/linux 客户端工作流程 … … 应用服务器 元数据服务器 存储服务器 文件A 1. Request for file info 元数据信息 2. Return with file info 文件切片 元数据和数据通道分离 数据条带化存储在不同的存储服务器上，实现并行读写 负载均衡机制 系统优势 高性能 高可靠性 高扩展性 易管理 高兼容性 自身优势 高性能：高聚合带宽 FedStore 集群存储系统 高速网络 聚合带宽 文件切片分布式存储 … … 高性能：聚合带宽 测试环境 网络环境：Infiniband网络 硬件环境：20台存储服务器（12块SATA盘），20台客户端性能测试 实施效果 高性能：近线性增长 聚合带宽随着存储集群规模的扩大而线性增长； 充分发挥硬件性能，如网卡性能利用率高于80%； 扩展到数百GB/S以上的聚合性能； 单目录下高达千万级的文件，单一文件系统文件数量支持超过两千亿； 单个共享文件系统支持300PB级； 提供高达数百GB/S的IO带宽和高效文件检索效率； 高可靠性：无单点故障 为不同目录的数据设置不同的冗余度 自动故障探测与恢复 设备恢复速度是RAID的5倍， 3TB SATA盘恢复时间20分钟内 元数据服务器每两台互备，无单点故障 … 存储服务器 文件 A 恢复数据 损坏的磁盘自动被剔除出系统 高可靠性：无单点故障 元数据采用集群架构 存储系统中的索引由各台元数据独立管理 存储系统索引层 高可靠性：后端存储池高效数据保护 应用服务器 千兆/万兆以太网 FedStore共享存储池 存储服务器集群 元数据服务器集群 … … … … OK！ 磁盘损坏 存储服务器宕机 网络中断 元数据服务器宕机 高扩展性：不停业务扩展容量 通过手动数据恢复以及负载均衡功能，完全可实现在线更换存储系统中所有老旧设备、在线快速扩展系统容量、在线扩展IO带宽； 高扩展性：横向扩展容量与性能 用户组C 用户组D 用户组A …… 用户 组 KFS共享存储池 存储池整体聚合带宽 用户组B …… …… 应用增加，存储容量与性能需求提升 应用再次增加 完全在线扩展，按需增加存储容量和访问带宽，有效降低初期投入成本 高扩展性：支撑文件数量与检索效率 我的存储系统也可以存放海量文件，我打开给你看看 结果：半小时过去了， 文件夹依然没有打开 文件检索效率已成为存储系统的重要考量标准 保证每台元数据每秒fopen2万文件 大文件 小文件 存储海量文件数量 横向扩展检索能力 分级存储机制 高性能应用 在线应用 备份应用 高速硬盘组 企业硬盘组 备份硬盘组 分级存储机制，将内部存储介质按需分组，为不同性能需求的业务提供存储服务