数据中心质量保证方案 广东第二师范学院 第一章 引言 高校数据中心作为校情决策分析的数据来源，为保证数据中心的质量，通常需要进行数据处理,主要包括以下几个重要的步骤：数据审查、数据清洗、数据转换和数据验证四大步骤。 (一)数据审查 该步骤检查数据的数量(记录数)是否满足分析的最低要求,字段值的内容是否与调查要求一致,是否全面;还包括利用描述性统计分析,检查各个字段的字段类型、字段值的最大值、最小值、平均数、中位数等,记录个数、缺失值或空值个数等。 (二)数据清洗 该步骤针对数据审查过程中发现的明显错误值、缺失值、异常值、可疑数据,选用适当的方法进行“清冼”,使“脏”数据变为“干净”数据,有利于后续的统计分析得出可靠的结论。当然,数据清理还包括对重复记录进行删除。 (三)数据转换 数据分析强调分析对象的可比性,但不同字段值由于计量单位等不同,往往造成数据不可比;对一些统计指标进行综合评价时,如果统计指标的性质、计量单位不同,也容易引起评价结果出现较大误差,再加上分析过程中的其他一些要求,需要在分析前对数据进行变换,包括无量纲化处理、线性变换、汇总和聚集、适度概化、规范化以及属性构造等。 (四)数据验证 该步骤的目的是初步评估和判断数据是否满足统计分析的需要,决定是否需要增加或减少数据量。利用简单的线性模型,以及散点图、直方图、折线图等图形进行探索性分析,利用相关分析、一致性检验等方法对数据的准确性进行验证,确保不把错误和偏差的数据带入到数据分析中去。 第二章 数据质量的基本要素 首先，如何评估数据的质量，或者说怎么样的数据才是符合要求的数据？可以从4个方面去考虑，这4个方面共同构成了数据质量的4个基本要素。 2.1完整性 数据的记录和信息是否完整，是否存在缺失的情况。 数据的缺失主要有记录的缺失和记录中某个字段信息的缺失，两者都会造成统计结果的不准确，所以完整性是数据质量最基础的保障，而对完整性的评估相对比较容易。 2.2一致性 数据的记录是否符合规范，是否与前后及其他数据集合保持统一。 数据的一致性主要包括数据记录的规范和数据逻辑的一致性。数据记录的规范主要是数据编码和格式的问题，比如教工号是7位的数字、学号是11位的数字，性别码包括2个类目、IP地址一定是用”.”分隔的4个0-255的数字组成，及一些定义的数据约束，比如完整性的非空约束、唯一值约束等；数据逻辑性主要是指标统计和计算的一致性，比如PV>=UV，新用户比例在0-1之间等。数据的一致性审核是数据质量审核中比较重要也是比较复杂的一块。 2.3准确性 数据中记录的信息和数据是否准确，是否存在异常或者错误的信息。 导致一致性问题的原因可能是数据记录的规则不一，但不一定存在错误；而准确性关注的是数据记录中存在的错误，比如字符型数据的乱码现象也应该归到准确性的考核范畴，另外就是异常的数值，异常大或者异常小的数值，不符合有效性要求的数值，如学生数一定是整数、年龄一般在1-100之间、转化率一定是介于0到1的值等。对数据准确性的审核有时会遇到困难，因为对于没有明显异常的错误值我们很难发现。 2.4及时性 数据中心的数据及时性主要反映在数据交换和数据分析的时效性上。 数据交换中部分业务数据的时效性要求极高，如人员岗位的变动及时到OA，资产的账单及时到财务等，其他及时性要求不高的数据交换也有时效的要求：如1小时 、一天、三天等。 虽然说数据分析的实时性要求并不是太高，但并不意味着就没有要求，数据分析可以接受当天的数据要第二天才能分析查看，但如果数据要延时两三天才能出来，或者每周的报告要两周后才能出来，那么分析的结论可能已经失去时效性，同时，某些实时分析和决策需要用到小时或者分钟级的数据，这些需求对数据的时效性要求极高。所以及时性也是数据质量的组成要素之一。 第三章 数据审查 基于数据质量的4个要素，可以对数据进行审查，以评估数据是否满足完整性、一致性、准确性和及时性这4方面的要求，其中数据的及时性主要跟数据的同步和处理过程的效率相关，更多的是通过监控ODI任务的方式来保证数据的及时性，所以这里的数据审查主要指的是评估数据的完整性、一致性和准确性。 3.1完整性审查 审查数据的完整性。首先是记录的完整性，一般使用统计的记录数和唯一值个数。比如图书管的每天借阅量是相对恒定的，大概在1000本上下波动，如果某天的借阅量下降到了只有100本，那很有可能记录缺失了；或者网站的访问记录应该在一天的24小时均有分布，如果某个整点完全没有用户访问记录，那么很有可能网站在当时出了问题或者那个时刻的日志记录传输出现了问题；再如统计教师、学生的籍贯分布时，一般会包括全国的32个省份直辖市，如果统计的省份唯一值个数少于3