数据集成融合平台是博能数智自主研发的一款基于微服务架构的多数据源接入、采集、分析处理的中台型产品，用于快速采集和集成物理世界各类业务数据和动态感知数据，目前已支撑了超过20个大型孪生机场项目。平台包含数据中台、物联中台、位置中台和分布式存储计算平台四个模块。

【1】数据中台是数据融合集成平台的中枢模块，为用户提供多种数据源快速接入和融合处理的一站式解决方案，提供数据接入、采集、融合、分析、数据仓库、数据共享以及实时消息总线等服务。数据中台由数据资产、数据元资产、规则引擎、任务调度和共享服务五大功能组成。

数据资产是数据处理流程的基础设置，实现将结构化、半结构化、实时数据源采集到数据平台中，对所有数据源连接参数及连接状态进行管理。支持超过20种数据库及数据引擎，包括：Mysql、Oracle、Hive、PostgreSQL、SQLServer、Elasticsearch、Neo4j、Redis、Hbase等数据库以及kafka、tcp、udp、websocket、http、Rabbitmq等实时数据源，最新版本还新增了SFTP、本地文件服务。

数据元资产是为了描述数据的相关信息而定义的数据概念，例如记录数据的存储位置、模型定义、生命周期、血缘关系等信息，包括技术元数据、业务元数据和操作元数据。

规则引擎模块是对采集的数据进行深层次计算和分析，通过可视化的拖拉拽方式实现数据采集、清洗、分析、存储和共享的流程设置。支持超过40种数据资产处理节点，包括过滤、排序、去重、关系函数、数据函数、类型转换、日期函数、字符串函数、自定义函数等，最新版本还增加了数据聚合节点、数据关联节点、接口清洗节点、文件清洗节点、Mybaits清洗节点以及自定义javascript节点，用户还可以根据需求自定义任意处理节点。

任务调度模块为用户提供了一个清晰和直观的方式查看规则引擎正在运行的各项任务，包括执行记录、操作详情、状态及操作时间、调度周期等。

服务共享模块可根据用户不同的应用场景、业务主题对数据资产进行快捷的共享设置，以API服务的形式对外提供，实现多维度的数据增值服务。

数据中台提供多源数据集成的任务编排和调度的统一框架，实现对数据基于自定义规则的分析处理，有效解决了企业多信息系统之间的数据孤岛问题和与数字孪生可视化应用之间的连接问题。

【2】物联中台是数据融合集成平台在物联设备接入方面的拓展。基于先进的云计算和大数据处理技术，采用分布式系统架构，以设备管理为核心，通过设置不同规则实现三分物联设备的数据接入、设备联动和数据转发的一体化功能。

用户通过创建产品、添加设备、创建设备接入规则等操作，实现外部物联设备的接入，并支持查看设备的实时接入情况及历史数据。同类型设备使用产品的概念进行统一管理，包括产品的基本信息、模型定义、主题管理等。支持10种以上常见的物联、网络协议，如：TCP、UDP、CoAP、MQTT、MODBUS、OPC-UA/DA、RS232/485、SNMP、SOAP等。

边缘节点模块用于设备的边缘端管理，包含HOST、PORT、边缘ID、边缘名称、状态、创建时间、更新时间上线时间、离线时间属性等信息的展示，支持HOST、边缘ID、边缘名称、状态、时间段等条件进行查询以及应用列表、详情、解绑等操作。

规则管理模块则支持接入绑定好的设备，实现设备联动和数据转发功能。可通过创建数据转发规则，将接入的设备数据按照一定的转发条件，转发至指定目的地，便于第三方系统对数据的访问引用，实现数据共享，有效减少数据采集中的重复性工作。

最新版本还拓展了物联感知的相关能力，支持手动添加视频数据，支持自定义标识、名称、级别、上行参数、描述等属性，也新增了设备地图和视频分析功能。在数据存储模块方面，对时序数据进行了分布式存储的升级，IOTDB存储目前已支持100TB以上的数据存储能力。

物联中台作为数据中台在物联网方面的拓展，具有大容量、伸缩性、高性能、高并发特点，较好的解决了不同厂家物联设备的接入以及互联互通困难带来的信息孤岛问题。

【3】位置中台是数据中台在位置数据处理方面的拓展，为用户提供位置大数据的一站式解决方案。位置中台具有强大的位置数据采集能力、可视位置数据优化能力和支持复杂位置数据共享的能力。位置中台服务集成了设备位置数据极其协议采集能力的同时，还提供对位置数据在线解析的能力。

位置中台在数据的复杂度和数据源的多样性方面相较于数据中台都有专业性的优化，支持多种资产数据源的访问，包含主流关系型数据库、网络协议、工业协议以及其他多种类数据源，并提供高并发、分布式的数据采集。

位置事件引擎是位置中台针对位置数据优化处理研发的核心功能，通过图形化界面的可视操作，实现了位置数据的采集、流转、清洗、优化、分析，并支持把优化过后的数据提供给平台上层端进行位置展示、轨迹查询。平台同时提供自助数据清洗、可视化数据监控、任务调度等丰富的位置任务管理功能，协助企业用户高效实现异构位置数据源和复杂的位置算法优化目的间的平衡兼顾。位置中台在数据处理的基础之上，还支持数据对外共享，以无需编码开发API的形式实现了位置数据的增值服务。

【4】分布式存储计算平台作为整体基底，满足了海量时空大数据存储和计算的需求。提供高效的分布式存储架构，能存储任意容量、任意类型的结构化、非结构化和半结构化数据。提供了包含位置数据分析的YARN、TB级时序数据存储的HIVE、位置数据实时分析的FLINK、历史数据分析处理的SPARK、临时消息队列处理的KAFKA以及非结构化数据处理的FASTDFS等30余种大数据组件以及一键式安装部署简化安装流程，为数据中台和物联中台提供了底层能力的支持，满足快速运维集群存储和计算资源的要求。

数据集成融合平台解决了企业在孪生项目开发中时空数据孤岛、数据质量差、三方物联设备统一管理和互联互通等问题，消除了孪生应用和业务系统的数字鸿沟，提高业务敏捷性，全面助力企业的数字化转型。

参考在线文档：https://www.yuque.com/bonengshuzhi/dn1vhv/tvmwp206geiedxmk?singleDoc# 《6 数据集成融合平台》