如何通过ESB实现实时流集成(es实时性)

ESB企业服务总线在实际项目中主要用于各业务系统之间的集成,集成包括数据集成、应用集成以及业务单据集成等等,ESB企业服务总线主要包含三部分:ESB设计器、SMC管理控制台以及Server运行环境,ESB设计器用于服务以及集成流程的开发,可以直接将服务或者流程部署在Server当中,并通过前端管理控制台SMC来对服务以及流程进行管理,并进行监控统计分析。

在ESB企业服务总线的Flink流集成功能中可以与UMC中的Flink组件结合实现数据的实时集成,还可以记录下对应的开发和运行日志信息。本篇文档主要介绍如何通过ESB企业服务总线实现数据的实时集成

总体说明

ESB主要作为企业信息系统的“龙骨”来集成各业务系统, ESB最大的技术特点在于,它是一个完全面向企业级的中间件解决方案,可以构建在企业现有的网络框架、软硬件系统之上,基于适配器技术,把数据、接口、协议、消息、文件都进行统一封装,采用引擎把它们图形串联起来,构建数据集成、应用集成的可视化流程,实现数据传输交换、异构系统对接,更多情况下作为服务提供者,为其它系统提供业务服务。下面主要介绍一下ESB产品以及本次功能调整的内容。

1.产品说明

AEAI ESB企业服务总线对于所有的资源如:数据库、消息队列、属性资源等进行统一配置,以及资源初始化、监控。按集成应用、集成服务、集成流程、集成组件不同粒度进行管理,同时实现各服务以及流程运行隔离,互不影响。AEAI ESB服务总线平台支持跟不同的产品结合来满足不同集成场景。

一个ESB Server中可以有多个ESB应用,一个ESB应用中按分组方式包含多个Web/Rest服务和消息流程。Web/Rest服务的不同操作Operation可以通过绑定消息流程实现,消息流程除了可以实现Web服务的各种方法,还能够以Http服务、Timer服务、Queue队列服务方式实现集成功能。一个消息流程中可以使用多个适配器组件,可以模拟程序代码中的顺序、判断、循环、异常处理等形式,各组件以配置方式或扩展代码方式引用管理控制台统一定义的资源(DB、MQ、Config等),不同组件实现特定的功能。基于图形化设计器产生消息流程的配置文件,在AEAI ESB引擎负责解析消息流程配置文件、实例化消息流程以及流程中的各组件,从而实现不同的业务集成、数据集成功能。

2.功能架构

ESB企业服务总线主要包含三部分,ESB设计器、SMC管理控制台以及Server运行环境,ESB设计器用于服务以及集成流程的开发,可以直接将服务或者流程部署在Server当中,并通过前端管理控制台SMC来对服务以及流程进行管理和监控。ESB整体功能架构如下:

ESB企业服务总线提供了丰富强大的组件堆,可以满足客户绝大多数的业务场景,开发人员使用极少的代码即可完成整套流程的设计;支持服务注册、应用集成,支持集成场景的配置化,通过SMC配置集成场景,满足推、拉、定时等集成方式,可以更加快速、更加便捷地实现业务系统间的集成,并支持邮件、微信、短信等多种预警机制。

3.实时集成

通过Flink实时集成功能可以实现数据的实时同步,可以从不同的资源中获取数据,如:数据库、Kafka、文件等。支持CDC和时间戳两种模式进行数据同步。

1.配置作业:首先需要在Flink流集成配置模块中配置作业的基本信息、节点配置和属性信息。

2.执行作业:配置完作业信息后,需要先在UMC中启动Flink组件,然后发布相关命令,发布命令成功后就可以在ESB中提交作业实现数据的实时同步。

3.日志记录:在Flink流集成配置模块对作业进行配置时会记录作业开发日志,作业提交后执行时可以调用ESB中回写日志接口来回写运行日志信息。

配置作业

在配置Flink实时集成功能时,首先需要在Flink流集成配置模块中配置作业的基本信息、节点配置和属性信息。下面主要介绍配置作业相关信息的步骤。

1.基本信息

在作业明细页面的基本信息中可以配置作业的基本信息,包括:编码、名称、节点类型、作业类型等。

2.节点配置

在节点配置中可以配置作业的数据源和目标节点相关信息,源和目标都可以来自数据库、Kafka、文件等资源,配置完节点的基本信息后可以添加节点的字段信息。

3.属性配置

在属性配置中可以配置作业的属性信息,如:作业执行的并行度、定时策略等,在作业提交时配置的属性信息会生效。

执行作业

配置完作业相关信息后,就可以与Flink组件结合来提交该作业,首先需要在UMC中启动Flink组件并发布相关接口,接口发布成功后就可以在ESB中提交该作业。下面主要介绍具体的配置步骤。

1.启动组件

1.首先组要在UMC云管理平台的运维配置模块中引用并启动组件。

2.启动成功后可以通过组件明细页面的访问地址访问组件的控制台页面。

2.发布接口

组件启动成功后在明细页面的执行命令中将所需命令发布为Rest接口,发布成功后就可以在ESB企业服务总线中通过接口来调用命令提交作业。

3.提交作业

接口发布成功后回到ESB企业服务总线的Flink流集成配置模块,可以通过提交按钮提交作业信息,提交成功后在Flink控制台页面可以看到作业运行信息,数据也会实时同步。

日志记录

在Flink流集成配置模块对作业进行配置时会记录作业开发日志,作业提交后执行时可以调用ESB中回写日志接口来回写运行日志信息。下面主要介绍Flink流集成日志相关功能。

1.作业版本

在Flink流集成配置中可以对作业的版本进行升级,升级之后会保存历史版本的数据,可以通过查看历史功能查看当前作业的历史版本,还可以将某个历史版本设置为最新版本。

2.开发日志

在Flink流集成配置模块中对作业进行新增、保存、提交等操作时会记录对应的作业开发日志,在Flink流开发日志模块可以查看,如果出现错误还可以在明细页面查看错误信息。

3.运行日志

作业提交后每次执行时会调用ESB中回写日志接口回写作业的运行日志信息,包括:运行时间、作业名称、作业版本、错误信息等,都可以在Flink流运行日志模块中查看。

总结说明

产品的IT价值往往不是可以量化的或是直观展现出来的,更多的是偏向于技术层面的价值。从IT层面来说,ESB企业服务总线可以在企业信息化建设过程中搭建一套稳定的、标准的、可持续的集成框架,满足企业业务集成的需要,同时为后续信息化的稳定发展提供强力保障。

1.模式归纳

ESB企业服务总线支持服务注册、应用集成,支持集成场景的配置化,通过SMC配置集成场景,满足推、拉、定时等集成方式,可以更加快速、更加便捷地实现业务系统间的集成,并支持邮件、微信、短信等多种预警机制。

2.重点难点

通过ESB能够进行服务API的管理,构建集成通道,从而打通上下游系统,支持Web服务和HTTP/Rest服务用户名/口令的身份认证机制,且支持原服务和代理服务之间身份信息的自动二次封装;支持Web服务、Rest服务通讯安全保障。同时提供多种日志级别以及可以动态调整的日志级别,具备系统性能与监控管理功能,实时监控系统运行性能状况,进行运行情况统计。

3.说在最后

随着企业业务的发展,ESB应用需要处理大量的数据和请求,对性能要求非常高。因此,在配置过程中,需要优化系统性能,提高处理能力和响应速度,以满足业务需求。

云ESB服务总线能够确保企业核心系统(财务、生产、OA、HR等)实现信息系统互联,满足集团信息共享需求,避免信息孤岛形成。云ESB组件的丰富性可以满足客户的绝大部分业务需求,可以帮助开发人员简化基础代码开发的工作量,降低开发难度,也减少了代码出错的几率。另一方面,基于AEAI ESB规范化的特点,开发人员在开发过程中可以参照标准,优化程序的设计结构,提高项目的交付质量。

本文由@数通畅联原创,欢迎转发,仅供学习交流使用,引用请注明出处!谢谢~

原文链接:,转发请注明来源!