文本描述
深圳广播电影电视集团
中心媒资改造项目技术方案
一、系统现状
深圳广播电影电视集团中心媒资系统,已经使用多年,随着素材和使用业务增长过快,再加上中心媒资带库使用年限的增加,故障逐渐增加,系统瓶颈凸显,具体如下:
中心媒资带库达到使用极限
中心媒资带库槽位已经全部使用,由于设备限制,槽位数量已无法扩展,即使把LTO3磁带替换为LTO4磁带,也只能置换出约500个槽位,仅够维持一年;
媒资带库老化,故障多
中心媒资带库、带机随着设备老化,硬件故障频率激增。从2005年至今,带库和机械手已经更换多次,经统计,带库一年内的故障重启107次,更换带机5次,严重影响媒资归档回迁业务
安全性差
进行LTO归档时,无法双写备份操作,如果一盘磁带损坏,整盘磁带上的素材都会丢失,安全隐患大;同时LTO磁带也缺少异地灾备措施;
归档回迁效率
随着业务量增加,归档回迁服务压力也随之增加,现有数量的迁移归档服务,也成为系统使用其中的一个效率瓶颈
项目目标
1、采用业界先进的技术实现无带化;
2、提高现有媒资归档回迁效率,达到现有5倍速;
3、实现中心媒资存储介质在线使用,与现有生产网存储兼容,可实现云媒资架构;
项目设计
原有系统回迁效率低,主要还是由于磁带库设备自身的劣势造成,如下:
回迁时,带库机械手需要先找到带子,然后再将内容从磁带中读出来,时间长
磁性介质、阻塞型的 ,归档的时候无法下载,归档的时候还要下载会有冲突,把归档停下了换成回迁的业务,磁带要更换,更换的动作耗费大量时间
本次计划用存储设备替换原有磁带库使用,替换后存储端的读写带宽和效率可以提高约5倍,而且支持多任务并发
存储替换磁带库及在线存储
鉴于现在中心媒资带库设备的使用现状,已经无法再支撑现阶段集团的媒资业务,必须更换;
同时鉴于以下3点,建议使用分布式存储设备替换现有磁带库,作为中心媒资的核心存储
带库维护难度大,维护和运营成本高 ;磁带易受潮、掉磁等;
磁带只有8年生命周期,磁带损坏要人工调整、置换带,人力成本高;
新媒体业务需求,目前磁带库无法满足业务需要的回迁效率需求;
分布式存储可应对分布式数据的存储与管理问题,支持极限扩展,单一文件系统容量高达40PB,能够支持中心媒资的分布式数据存储和管理
部署方式
1、在四楼核心机房部署3PB大数据存储替代原有磁带库及现有在线存储,保障2年内媒资容量需求
具体见如下图:
设备并行替换策略
现有磁带库已存储了几千小时的素材,在分布式存储接入媒资系统后,需和原有磁带库并存一段时间,以便素材从磁带库逐步迁移到存储中;
在现有媒资系统增加数据迁移服务的数量,并加上原有的迁移服务,通过制定迁移策略,定时在每天媒资业务的空挡期,进行原有磁带库和存储之间的数据迁移,以便尽快完成替换
在数据同步期间,媒资系统在同时挂接原有带库和分布式存储系统,所有新归档数据直接写入分布式存储中,而回迁数据则设置相应策略,优先从存储中读取,如果回迁数据还未同步到存储,则从带库读取,完成回迁;
现有带库与电视剧媒资带库合并
现有磁带库在完成数据迁移后,将从中心媒资系统中撤下,然后与电视剧缩编媒资带库合并,作为电视剧缩编媒资的补充带库
现有中心媒资在线存储与生产媒资在线存储合并
现有中心媒资在线存储EMC CX480在完成数据迁移后,将从中心媒资系统中撤下,然后与生产媒资在线存储合并,作为生产媒资在线存储的补充
项目定制开发点
在线数据倒换工具
中心媒资现有采用的是EMC CX480作为媒资在线存储使用,本次项目将会用分布式存储替换CX480作为中心媒资。