大数据中心建设方案 总体解决方案 中心总体定位 总体解决方案 总体实施方案 1 中心总体定位 县级政务大数据资源中心 构建PB级大数据采集、存储、计算、挖掘、分析与应用能力 汇聚数据资源 形成数据资产 建立数据应用 建立数据服务 保护数据安全 政务 处理 经济 发展 城市 管理 民生保障…… 公共 安全 县各级政务数据 监控视频数据 物联设备数据 企事业单位数据 互联网数据… 智慧政务 数据检索 数据计算 决策依据 洞察&建议 数据统计、业务分析、风险预警、智能服务、辅助决策 & 兑现数据价值、赋能政务处理、提升治理水平、推动社会发展 总体建设目标 县 级 政 务 大 数 据 资 源 中 心 总体解决方案 县级政务大数据资源中心 AI 图谱技术 大数据 云计算 数据资源 数据计算 管理治理 开发调度 数据模型 计算模型 数据源关联 业务目标 表单样式 计算任务调度 共享开放 整合各类数据资源 连接各类人员 数据管理/开放门户 数据采集 数据安全 总体应用流程 总体实施方案 县级政务大数据资源中心建设项目实施 数据管理 平台建设 数据治理开发运营 平台工具支撑 应用需求推动 利器 工事 建设一套大数据管理与应用平台 以构建一个能持续高效运转的数据治理管理体系为目标 建设县数据湖 开发建设R口与FR基础库 建设市场监管、工业、全民健康、惠民资金监管、农业五大示范应用 平台建设方案 平台总体架构 平台各子平台建设方案 2 平台总体架构 数据治 理管理 元数据 管理 数据标 准管理 数据开 发管理 统一调 度管理 数据质 量管理 数据管理 开放门户 首页 资源目录 资源服务 开放清单 数据开放 统一消息 数据资 产管理 平台架构关系 数据支撑子平台·总体架构 数据支撑子平台·数据范围与存储 数据支撑子平台可承载的县信息资源平台数据湖/库归集的数据范围、种类和存储方式如下： 数据共享交换子平台·总体架构 建全县统一的数据共享交换子平台，形成公共数据采集、交换、共享的核心枢纽，并可打通全县各单位间数据资源共享通道，实现双向信息传递（源数据采集&数据应用共享）互通。 数据交换是整个平台的基础，提供系统业务接口接入、交换前置接入、数据采集、交换传输、数据集成、交换管理等功能服务； 数据交换通过前置交换系统与各交换部门进行互联； 通过数据传输系统各委办的数据资源汇集到数据中心； 对汇集到数据中心的数据进行统一加工、处理，并将经过数据治理后的数据中心中的数据交换到各类基础信息库中； 服务管理系统将各类基础信息库中的数据进行服务封装和服务发布，提供给各委办或决策分析等系统使用。 数据共享交换子平台·技术方案 数据共享交互平台总体架构主要分为基础设施层、数据资源层、支撑层，服务层以及贯穿多层的标准规范体系和安全保障体系。 基础设施层主要是指平台建设运行所需的网络、服务器、存储、安全、虚拟化等基础支撑设施 息资源层就是在资源中心所汇聚、沉淀形成的各类数据资源； 基础支撑层由平台基础支撑软件构成，是平台稳定运行提供服务的基础 交换支撑层是数据资源汇集、处理与服务的核心支撑，通过底层中间件为基础，构建面向上层应用的服务系统 标准规范与运维体系贯穿平台的各个层面，用于规范各部分的建设运行和管理，保障平台的顺利建设实施和正常稳定运行。 数据治理子平台·总体架构 数 据 服 务 数 据 归 集 数据安全管控 数据治理平台覆盖了从标准、设计、采集、开发到使用，再到交付的全数据治理流程，为组织提供了一站式数据治理运营平台，可满足数据共享交换、数据开发、数据运营多种应用场景，并通过构建数据工厂，实现数据治理的标准化、流程化与组件化。 数据治理子平台·功能架构 数据治理平台能够支持多种数据库环境的数据开发功能，实现从数据的采集、加工到数据探索服务的全生命周期管理。并提供数据开发全过程的治理管控能力。 制定配套的数据规范管理流程。包括数据标准的定义、数据标准执行、数据质量检核规则管理、数据质量问题治理、数据模型管理办法、数据交换管理、ETL开发管理规范等工作流程。 数据治理子平台·数据应用开发整体流程 数据治理子平台·可视化、流程化数据开发 数据工厂 支持可视化的程序编排，数据处理流程开发，使程序开发更简便，降低数据开发周期、开发成本； 平台提供数据处理各项能力的开发功能，提供包括数据采集、处理、装载、分发、校验等功能开发 平台具备执行标准的开源 Hadoop 接口调用能力，以及基于个性化 Hadoop 接口封装能力； 根据不同的数据生产环境，具备不同的数据处理能力，可根据自身需求，基于平台扩展自主的数据处理功能 可视化程序开发可结合数据标准化体系，整体数据开发流程与标准化管控切实对接。 数据治理子平台·统一任务调度 以一个流水线生产为例：传统做法是单条生产线依赖产品的生产工序进行协同生产。在统一开发调度平台可以通过控制中心进行作业命令下发，状态收集进行控制，达到多个工厂，多条生产线的协同调度，实现数据从“采集→加工→对外应用服务”的全生命周期管理。 数据治理子平台·数据质量管理 数据质量管理主要包含对数据完整性、准确性、鲜活性、权威性的分析和管理，并对数据进行跟踪、处理和解决，实现对数据质量的全程管理，提高数据的质量。 根据业务需要选择实体表和规则，方案与方案之间相互独立，互不干扰。通过执行模型下的质检方案，可以得到用户关心的数据质量分析结果，如问题数据明细信息、数据质量分析结果等。 平台能够提供质量规则配置、质量监控、问题处理等功能，及时发现并分析数据质量问题，不断改善数据的使用质量，从而提升数据的可用性，挖掘数据更大的价值