文本描述
数据交换平台
议程
数据交换平台概述
数据交换平台功能特点
数据交换平台应用案例
数据交换平台概述
数据源的多样
各类数据库、文件(文本、Excel、二进制)…
数据格式的差异
交换策略的多样
主动、被动
实时、分时
同步、异步
交换数据的安全、可靠
网络、系统环境的复杂
配置、管理的复杂
数据交换过程中面临的问题
采用中间件
成熟的商用软件,应用软件的半成品
不同的问题由不同的中间件解决
实现平台化
为数据整合提供统一的支撑服务
提供统一的交换标准、接口和开发、运行、管理环境
解决问题的最有效途径
数据交换平台总体技术架构
是打破信息孤岛、实现互联互通的基础框架
提供各种应用系统之间的信息交换和共享服务
数据交换平台的组成
作用
为集成各种应用系统提供一个开放式企业级应用集成框架
功能
支持不同地域的应用系统集成
支持多种数据格式及不同格式之间的转换
提供强大的数据加工能力
提供标准的系统集成适配器
增强的对XML支持
提供方便易用的配置工具
使用Java代码实现,良好的平台移植性
应用集成中间件TongIntegrator
TongIntegrator
A系统的接口,A系统的数据格式
Y系统的接口,Y系统的数据格式
业务流程
系统
A
系统
B
数据库系统
X
数据库系统
Y
提供企业应用集成的框架
实现应用之间功能集成
实现应用之间数据集成
TongIntegrator应用框架
作用
为分布式应用提供消息递送服务的消息传输平台
功能
提供可靠、高效、安全的数据传输服务
提供P2P、Pub/Sub通讯模式
实时网络监控及管理
多网络环境、多应用模式支持
支持与Web技术集成
消息中间件TongLINK/Q
TongLINK/Q应用框架
集中式
集中数据处理,统一管理和维护
中心处理压力大,前端维护管理工作量小
数据交换平台的部署(一)
分布式
分布数据处理,统一数据格式
中心处理压力小,前端维护管理工作量大
数据交换平台的部署(二)
数据交换平台功能特点
数据抽取
数据传输
数据加工
数据交换流程定义
数据交换策略
异常处理
配置和管理
应用和数据交换平台的关系
功能概述
数据抽取
基于队列机制保证数据可靠传输
队列
TongLINK/Q
tlqd
队列
TongLINK/Q
tlqd
数据传输(一)
支持数据传输的优先级
TongLINK/Q
Priority =
数据传输(二)
低,中,高优先级
高优先级消息传输速度高于低优先级的消息
同一优先级的消息顺序发送
TLQ保证低优先级消息可以得到发送
高的数据传输效率
数据传输(三)
传输数据的安全性
节点合法性检查
下级节点表中的合法节点
口令字认证
传输加密
第三方安全出口
与TongSEC结合
数据传输(四)
格式转换
内容转换
数据加工(一)
过滤
添加
数据加工(二)
顺序
数据交换流程定义(一)
数据分发
数据分离
数据交换流程定义(二)
数据合并
数据交换流程定义(三)
数据路由
数据交换流程定义(四)
实时、定时
数据交换平台
数据交换平台
数据交换策略
主动
典型应用——B2B集成
输入组件
被动接收
应用
发送
输入组件
被动接收
输出组件
应用
发送
应用
接收
应用和数据交换平台的关系(一)
被动
典型应用——数据库复制
输入组件
主动拉取
应用
DB1
输入组件
主动拉取
DB2
输出组件
应用和数据交换平台的关系(二)
异常处理器
异常处理
统一配置
配置和管理(一)
参数化配置
配置和管理(二)
图形化数据库配置工具
配置和管理(三)
远程监控
配置和管理(四)
远程监控
配置和管理(五)
日志系统
调试日志
记录运行期间的调试信息
分级输出,更易维护
可定义输出时间,线程,java包等相关信息
数据日志
可定义共同使用一个日志文件或每一个组件链使用自己的日志文件
循环日志,文件长度最大值和文件数最大值可定义
各组件可以单独定义是否记录数据日志
配置和管理(六)
企业级的应用集成平台
统一的数据、应用集成框架、强大的适配功能
安全、高效、可靠的数据传输体系
有效的数据转换
提供丰富的数据转换组件
XML等标准的支持
用户可定义的数据格式
良好的平台兼容性
支持硬件、OS、数据库、中间件产品
自有版权
扎根国内应用需求、充分满足应用整合需要
数据交换平台的特点
集中式的数据共享模式
设计思路的选择1
分布式的数据共享模式
设计思路的选择2
设计思路的选择3
设计思路的选择4
采用面向数据交换服务的体系架构
业务系统和数据采用分散部署和维护、管理,降低了工作难度和风险;
只需要在小范围内进行用户权限控制,相对地对应用安全的要求降低;
由于采用分布式存储和处理,因此对主机、存储等基础设施的要求相对较低;
由于在网络、主机和存储各个层次上要求较低,因此系统在技术上相对简单,减低了实施风险;
系统的投资较低,系统建设周期、开发周期较短;
与原有异构的遗留系统的整合相对简单,可更好地保护已有系统投资。
数据交换平台应用案例
项目概况
由农业部信息中心牵头建设
涉及全国31个省、直辖市
15个试点省建设周期为3个月
目标
全国农业系统共同需要的信息资源,将通过“全国农业网站资源库”实现联合收集,同步共享;重要的农业新闻将以“全国信息联播”实现统一发布,连锁宣传。
农业部“全国农业网站信息资源库”和
“全国信息联播”频道(1)