上汽数据湖4.0 “数据湖”构建上汽集团数据中台 数据湖 | PART1 数据湖因运而生 数 据 湖 Data lake ecosystem 数据湖管理模块 数据湖管理 原始数据库入湖 数据出湖 -> 科学家工作台 数据链路管理 科学家工作台 数据湖事件管理 数据湖管理 数据链路（发送端）详情 数据湖管理 数据链路（接收端）管理 数据湖管理 数据表同步管理 数据湖管理 数据表Merge管理 数据湖管理 数据链路配置 数据湖管理 数据加密，访问权限，脱敏设置 数据治理模块 数据治理 数据湖租户 租户数据库管理 数据资产事件管理 数据质量监控 数据治理 数据表列表 数据库状态信息 数据治理 元数据导入 数据治理 数据表详情 数据治理 数据血缘 数据治理 数据关联 数据治理 数据库元数据监控 数据治理 数据表访问日志 数据治理 数据资产查询 科学家工作台 科学家工作台 数据挖掘/分析项目管理 科学家工作台 程序编辑 容器管理 科学家工作台 项目文件/资源管理 科学家工作台 会话(docker)管理 科学家工作台 Jupyter IDE和运行环境 数据同步链路 SAIC DATA LINK SAIC Data Link SAIC Data Link是上汽集团自主研发的数据同步链路，适配上汽数据湖平台。完成异构数据库数据实时同步到上汽数据湖的工作，具有以下特点： 支持Oracle，DB2，MySQL，MongoDB，PostgreSQL 等数据库 异步非阻塞方式读取数据库Log文件，对数据库不构成压力 实时同步：2秒数据延迟(局域网) 数据存储，传输加密：数据存储使用AES，3DES加密，数据传输使用HTTPS加密 支持局域网/广域网数据同步 强数据一致性校验，保证在网络条件差的情况下不丢失一条数据 无状态链路设计，动态扩容，基于容器的自动运维 Hock方式提供数据同步链路开发接口，支持用户自定义Lua脚本扩展数据链路功能 SAIC Data Link 架构图（局域网） SAIC Data Link SAIC Data Link 架构图（广域网） SAIC Data Link 据了解某大型企业Oracle exadata和SAP HANA，各花了400万和320万。 数据湖建设成本，单台机器 40T，目前市面上这类机器的价格大概在10万左右，软件成本按照1年算，平均10个成员（100万/人/年）大致1000万。 按照10套软件的输出平摊，100万（开发成本）+(10万硬件成本 / 40T（存储容量）) = 100万+0.25万/TB 实施成本，目前实施人员（外包）成本大致为70万/人/年，按一个季度的实施成本为17.5万元。 企业上线数据湖的预估成本（按照10套数据湖产品输出计算）： 100万+0.25万/TB+17.5万 数据湖3.0 数据湖4.0 节省70%以上建设成本 Guide big data productivity 上汽数据湖的用户 38 39 PPT模板下载：www.1ppt/moban/ 行业PPT模板：www.1ppt/hangye/ 节日PPT模板：www.1ppt/jieri/ PPT素材下载：www.1ppt/sucai/ PPT背景图片：www.1ppt/beijing/ PPT图表下载：www.1ppt/tubiao/ 优秀PPT下载：www.1ppt/xiazai/ PPT教程： www.1ppt/powerpoint/ Word教程： www.1ppt/word/ Excel教程：www.1ppt/excel/ 资料下载：www.1ppt/ziliao/ PPT课件下载：www.1ppt/kejian/ 范文下载：www.1ppt/fanwen/ 试卷下载：www.1ppt/shiti/ 教案下载：www.1ppt/jiaoan/ 字体下载：www.1ppt/ziti/ 感谢观看 | THANK YOU Guide big data productivity