系统性能指标和测试结果说明
性能测试报告
测试目标
运营商手机上网记录查询系统案例，以某运营商为例，日均上网记录数近10亿条，每月数据量近9TB，移动互联网用户快速增加，智能终端迅速普及、户均流量显著增长，上网记录数据将进一步猛增，每6个月，流量翻一番，如此大的数据量已经超越了传统关系型数据库可管理的容量上限，关系型数据库上对大规模数据进行操作会造成系统性能严重下降。
通过本测试，验证星环科技成熟稳定的商用Hadoop平台，是否可以有效解决数据采集、加载、存储、查询、分析等问题。
测试内容
1）存储节点数和存储量验证；
2）并发加载数据的效率验证；
3）分别选取简单查询（短信话单查询），单表统计（某天某客户通话次数），大表关联统计（统计指定用户的上网记录）三个应用场景验证产品性能。
测试环境
软硬件环境配置如下：
表9-1 服务器配置
服务器
推荐配置及说明
节点数量
300+台服务器
CPU
两路6核处理器2*E5-2620 内存
64GBECCDDR3
硬盘
2个600G的SAS硬盘，15000RPM，RAID1，作为系统盘
12个2TB的SATA硬盘，7200RPM，不做RAID1
网络
双电口万兆（10Gbps）以太网卡
部署环境如下：
表9-2 集群配置
PC服务器
300多台
NameNode节点
3台
DataNode节点
278台
Zookeeper节点
7台
集群监控节点
1台
入库服务节点
24台
Web查询应用服务节点
20台
网络拓扑情况如下：

图9-1 拓扑结构图
测试过程和结果
1）现有HDFS集群已被占用10.5PB，3个副本，压缩率在1/3左右，因此实际HBase表数据也已经有3.5PB左右。目前数据存放6个月，每天导入日志数据在21TB左右，每月导入新增日志数据量为630TB，近一个月为常用热数据，数据量增长较快。2）并发加载数据的效率
Transwarp Hyperbase集群每秒平均达到1500万记录/秒，峰值时达到5000万/秒，集群导入性能没有问题。
3）支持并发查询数目：远高于100000请求/秒
上网记录查询速度：不高于1秒（含用户访问查询页面的时间）
场景一：短信话单查询
图9-3 话单查询表
测试相关表数据量
表名
条数
CDR_GSM_13
3114402798
测试语句
SELECT*FROMCDR_GSM_13WHEREUSER_ID=?;
场景说明
使用程序查询指定USER_ID的短信话单
TranswarpSQL性能
并发:5000 单SQL平均执行时间:12ms
Transwarp Hyperbase API性能
并发：>30W
单SQL平均执行时间：3ms
场景二：某天某客户通话次数：
测试相关表数据量
表名
条数
CDR_GSM_13，cdr_gsm_stat
3114402798，430293346
测试语句
SELECTcount(*)FROMCDR_GSM_13C，cdr_gsm_statGWHEREc.user_id=g.user_idandg.type=’1’andg.date=’20151212’g.user_id=?;
场景说明
统计某天某客户通话次数
TranswarpSQL性能
并发:2000 单SQL平均执行时间:130ms
Transwarp Hyperbase API性能
并发：>10W
单SQL平均执行时间：90ms
场景三：关联统计相关测试，统计制定用户的上网记录
图9-4 上网记录表
测试相关表数据量
表名
条数
CDR_GSM_13，cdr_gsm_stat
3114402798，430293346
测试语句
SELECTcount(*)FROMCDR_GSM_13C，c