曾文秋
高级技术专家自我介绍
o 9年大数据平台研发经验
o 2011-2018 阿里巴巴 dataworks的技术负责人，负责一站式的
大数据开发平台、工作流任务调度、任务智能监控、数据质量、
数据管理等
o 2018 加入滴滴，负责滴滴的大数据平台的架构&设计目录
l 滴滴大数据发展史
l 一站式大数据研发中台
l 核心组件设计剖析
l 基于研发中台的数据治理实践滴滴大数据发展史
稳定性建一站式平
刀耕火种 烟囱式 一站式平
设、工具台(多计算
命令行 发展 台(离线)
萌芽 引擎)
20142015-2016 201720182019-2010
同步：sqoop 工单流程 提数工具 一站式平台 一站式平台
调度：cron 提取工具 数据地图 数据同步离线
查数&任务开发： 离线任务调度离线任务调度数据开发实时
命令行任务开发：命令行 数匠坊+docker 任务调度机器学习
开通&权限：邮件 全链路质量监控系 指标管理
+人工沟通 统 监控告警
实时任务管控&运 数据质量
维 资产管理
D++(用户&资源管 数据安全
理)
DDTS(基于 datax
的任务同步)
工单流程目录
l 滴滴大数据发展史
l 一站式大数据研发中台
l 核心组件设计剖析
l 基于研发中台的数据治理实践