数据接入平台

数据交换

将分散建设的若干应用信息系统进行整合,通过计算机网络构建的信息交换平台,使若干个应用子系统进行信息/数据的传输及共享,提高信息资源的利用率,保证分布异构系统之间互联互通。 提供客户接入端软件部署在每个应用系统的前置机上,实现数据交换平台和各信息系统的有机结合,在客户接入端实现数据的自动提取与转换。

ETL工具

ETL系统支持将海量数据从不同的来源端经过抽取(extract)、转换(transform)、加载(load)至目的端,为多源、多种类、多格式数据提供灵活、可靠、高效的数据清洗、转换、与加载能力。

数据治理

建立数据管理体系和标准,确保信息系统所使用的主数据的唯一、完整和统一。梳理与建立各项统计数据指标,为组织提供及时准确的决策分析数据基础。 构建覆盖整个组织范围内的信息化标准,建立信息化标准管理组织和规范制度,保障企业信息化建设的方向和质量。 制订编码标准是基础,规范编码内容是过程,建设编码平台是技术手段,建立组织和流程是前提和保障。

数据存储

Hdfs,Hbase,Hive,Oracle,Mysql,MongoDB,Redis,ElasticSearch

结构化数据

结构化数据也称作行数据,是由二维表结构来逻辑表达和实现的数据,严格地遵循数据格式与长度规范,主要通过关系型数据库进行存储和管理。结构化数据标记是能让网站以更好的姿态展示在搜索结果当中的方式。

半结构化数据

它是结构化的数据,但是结构变化很大。因为我们要了解数据的细节所以不能将数据简单的组织成一个文件按照非结构化数据处理,由于结构变化很大也不能够简单的建立一个表和他对应。其存储方式有:1、化解为结构化数据 2、用XML格式来组织并保存到CLOB字段中

非结构化数据

非结构化数据是数据结构不规则或不完整,没有预定义的数据模型,不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、XML, HTML、各类报表、图像和音频/视频信息等等。

分析挖掘

离线分析

离线分析流程:不同数据源获取数据、Hadoop集群数据、计算(Hive、Spark、 MapReduce)、数据展示(T+1计算)

实时分析

实时分析流程:业务数据、消息队列、Storm实时编程、Redis、数据展示 (秒级计算)

数据可视化

数据可视分析是将数据呈现给用户以易于感知的图形符号,让用户交互地理解数据。由可视交互界面为基础的分析推理科学,将图形学、数据挖掘、人机交互等技术融合在一起,形成人脑智能和机器智能优势互补和相互提升。

行业应用

智慧社区

智慧烟草

智慧农业

智慧制造

智慧企业云