ETL4j ：java web 技术数据共享与交换平台 北京织梦科技有限公司 www.etl4j 提纲 产品功能特性 2 产品总体介绍 1 产品核心功能 3 产品技术架构 4 服务体系说明 5 系统平台是对生产环境中离散的不同数据库中的业务数据进行抽取、转换并将其载入数据仓库存储库，对各类文件系统数据进行整合共享的数据集成开发管理工具。 产品简介 实施成本 研发成本 学习成本 易用性差 - 市面上ETL工具普遍体系庞大，学习成本高 - 技术门槛高，招聘难 ETL研发工期长 耗费大量人力物力 - 自行开发，工期长 - 维护成本高 业主客户很难参与 工具对客户只是个传说中的中间件 传统ETL共享交换系统的开发运维成本高，很难得到业主的认可。 研发 困境 传统ETL研发困境 产品目标客户 为企业集成类项目的开发提供简单实用的ETL数据交换研发平台 企业可以协助业主建立起一套自己能够使用的数据中心管理平台 为政府和企事业建立业务与IT基础设施相分离的应用体系 通过平台建立数据交换的服务体系提高基础设施建设的利用率 目标 客户 软件集成开发商 信息化管理部门 产品设计目标（面向研发单位） 简单易用，降低实施难度，提高工作效率； 满足各种复杂ETL同步规则业务需求； 提供多种调试手段，方便开发测试； 一方数据格式有变，有自动识别修正能力； 即可以单独部署，也可系统集成，提供的二次开发API接口； 数据字典、设计文档一键导出，提高实施效率。 产品设计目标（面向政府企事业单位） 各类数据统一管理。实现信息中心管理部门数据管理的基本需求； 可配置发布简单的共享服务。支持服务热部署、一键发布； 可自行发布Web Service服务。无编程基础发布数据中心的各类数据库数据服务； 多种手段监控数据生产、共享利用情况。监控各级业务系统数据生产共享过程。 产品领先优势 4.提供设计文档的一键导出功能，缩短设计开发周期 5. 简单易用的用户界面方便快速开发和监控 1.是一款业主可以使用的ETL产品 2.大大降低软件企业ETL开发难度 3.基于J2EE技术体系，即可单独部署也可与web项目无缝集成 具有一定技术前瞻性、高效稳定、基于J2EE B/S平台 方便易用的二次开发、监控工具 能提供给业主使用，提升推广价值 提纲 产品功能特性 2 产品总体介绍 1 产品核心功能 3 产品技术架构 4 服务体系说明 5 数据加工处理能力 支持各种主流的数据库及文件系统同步共享要求，支持Web Service接口发布： 数据加工处理能力 满足复杂共享规则抽取要求。支持全量、增量、时间戳、差异比对同步的要求；支持一个到多个、多个到一个数据库或数据库表的规则配置 支持动态表名称抽取策略。源数据库和目标数据库的数据表可动态生成 提供二次开发API开发接口。满足复杂情况下更高级Java程序开发要求 数据加工处理能力 提供异步ETL过程处理模式。数据抽取、转换及装载过程并行执行，实现数据的高速处理，满足G、T级的数据转换； 支持各种字段级的自动转换。如类型转换、字段运算、参照转换、字符串处理、字符集转换、空值处理、日期转换、聚集运算、既定取值、字段切分、字段合并等； 支持字段映射自动匹配。可自动完成异构数据库间数据类型的映射； 支持数据库大对象(如CLOB、LOB)的读写； 线程安全处理能力 计划任务热部署。可视化发布应用项目的修改，无需重新启动系统； 线程互斥。同一时刻，只允许同一个任务作业，杜绝数据库额外开销； 并行数据传输。采用多线程技术支持多个数据库或文件系统的并行传输； 多种定时策略配置。定时规则可包括日、周、月、工作日、时、分、秒等，定时启动后可实现作业的循环自动运行； 可以进行人工调度干预。如调度启动、调度挂起、调度停止、调度执行等操作。 调试手段快捷高效 通过同步任务配置检查功能提供快速问题定位； 提供基于Junit的Java程序开发调试模式，实时显示各变量在程序执行过程中的情况； 错误时打印出数据库各类DML语句，用于数据库后台调试； 通过系统线程、任务执行过程监控，可以查找出系统耗时任务计划； 通过错误日志快速定位系统错误点； 提供基于共享配置的数据库性能优化方案建议。 提纲 产品功能特性 2 产品总体介绍 1 产品核心功能 3 产品技术架构 4 服务体系说明 5 Step 1 Step 2 Step 3 1.资源目录管理 - 数据库链接、数据字典管理 - 文件服务器、FTP服务器资源管理 - 数据库定时备份计划管理 2.数据共享交换模型设计 - 数据库ETL共享规则配置 - FTP服务器同步规则配置 - Web Service共享服务发布 3.运行监控，服务发布 - 简单共享服务设计与发布 - 交换共享模型运行管理 - 图表实时监控服务运行情况 ETL4j核心功能 产品核心功能 资源目录管理（数据库） 建立数据库资源目录，为接入系统的各类数据库创建数据字典。 资源目录管理（数据库备份） 建立接入系统的各数据库定时备份机制。 资源目录管理（FTP服务器） 建立FTP服务器各类文件系统资源配置信息。 共享交换模型设计（表间同步）