湃睿科技参与制定“工业大数据平台技术规范数据采集接入

湃睿科技参与制定“工业大数据平台技术规范数据采集接入”、“工业大数据平台技术规范数据储存”团体标准



        湃睿科技在行业内凭借着强劲的企业实力，持续的研发创新能力，被评定为国家 “高新技术企业”、上海市“专精特新”企业、上海市小巨人（培育）优秀企业、3A企业信用等级企业等。公司已经通过了ISO9001的质量管理体系认证，目前正在进行两化融合贯标体系建设与认证。

        现拥有软件著作权39个，注册商标3项，已经申请发明专利3项，参与制定了1个国家标准《机械产品结构有限元力学分析通用规则》和2个团体标准《工业大数据平台技术规范数据采集接入》 、《工业大数据平台技术规范数据储存》，现已经发布。

        另外，湃睿科技还将以第一起草单位负责参与《技术产品文件 基于模型定义要》和《技术产品文件 产品设计数据管理要求》系列国家标准的编制工作，该标准也将于2018年正式发布，敬请期待！

一、前言

        工信部曾在2017中国工业大数据创新发展高峰论坛表示将加快工业大数据标准制定和验证推广，开发工业大数据优秀解决方案，强化供需双方对接和宣传推广，推动工业大数据与工业云、工业互联网、CPS等协同发展。同时，高度重视工业大数据的发展，在落实中国制造2025、“互联网+”、制造业与互联网融合等战略文件中将大数据作为抓手，促进大数据与工业融合创新发展。

        工信部信软司软件产业处处长商超表示，IT技术的持续创新催生了大数据时代的加速到来，在此大背景下，数据成为关键的生产要素，预计到2020年，全球的数据总量将达到40ZB，中国的数据量将占全球数据总量比例的20%，成为世界第一大数据资源大国。

        工业大数据作为大数据的一个应用行业，在具有广阔应用前景的同时，对于传统的数据管理技术与数据分析技术也提出了很大的挑战。工业大数据技术的研究与突破，其本质目标就是从复杂的数据集中发现新的模式与知识，挖掘得到有价值的新信息，从而促进企业的产品创新、提升经营水平和生产运作效率以及拓展新型商业模式。因此，工业大数据平台技术规范将是大数据技术研究发展的一个重要基础与前提。目前，在由上海市计算机行业协会提出并归口，上海宝信软件股份有限公司、上海康宝电子有限公司、上海湃睿信息科技有限公司等多家行业企业联合起草并完成发布了《工业大数据平台技术规范数据采集接入》 、《工业大数据平台技术规范数据储存》的团体标准。

二、团体标准的制定及内容

        工业大数据是指在工业领域中，围绕典型智能制造模式，从客户需求到销售、订单、计划、研发、设计、工艺、制造、采购、供应、库存、发货和交付、售后服务、运维、报废或回收再制造等整个产品全生命周期各个环节所产生的各类数据及相关技术和应用的总称。

        团体是指具有法人资格，且具备相应专业技术能力、标准化工作能力和组织管理能力的学会、协会、商会、联合会和产业技术联盟等社会团体。团体标准：由团体按照团体确立的标准制定程序自主制定发布，由社会自愿采用的标准。



《工业大数据平台技术规范数据采集接入》

湃睿科技，团体标准

      

1、起草依据

        本规则按照CB/T1.1——2009给出的规则起草的，由上海市计算机行业协会提出并归口。



2、起草单位

        上海宝信软件股份有限公司、上海保康电子控制工程有限公司、上海蓝鸟机电有限公司、上海旋思科技有限公司、上海挚极信息科技有限公司、上海七牛信息技术有限公司、上海湃睿信息科技有限公司、力信测量（上海）有限公司、上海产业技术研究院、中国电子科技集团公司第三十二研究所、上海市计算机行业协会、上海华谊信息技术有限公司、英特尔（中国）有限公司、上海众达信息产业有限公司、华东师范大学、上海电子信息产品再利用促进中心。



3、规则主要内容

1）范围

        本标准规定了工业大数据中数据采集接入的术语和定义、工业通信网关数据接入要求、分布式日志聚合数据接入要求、传统关系数据库并行接入要求、消息集群数据接入要求等。

2）数据采集接入要求

2.1综述

        数据采集接入的方式包括工业通信关数据接入、分布式日志聚合数据接入、传统关系数据库数据并行接入、ETL数据接入等。

2.2工业通信网关数据接入要求

        工业通信网关应实现各类现场设备的链接，在各种设备协议、网络协议间做报文转换，以实现不同物理链接方式、通信协议的统一和标准化。

2.3分布式日志聚合数据接入要求

        分布式日志聚合数据接入，简称DTS-Flume,应包含组件：Event（事件）、Flow（流）、Client（客户端）、Agent（代理）、Source（源点）、Channel（通道）、Sink（目的点）、Flow Pipeline（流管道）

2.4传统关系数据库数据并行接入要求

        传统关系数据库并行接入简称DTS-Sqoop，是一个用来将OTS和关系型数据库中的数据相互转移的工具，应能够将一个关系型数据库（例如：MySQL ,Oracle , Postgres等等）中的数据导进到OTS中，也能够将OTS数据导进到关系型数据库中。

2.5 ETL数据接入要求

        ETL数据接入简称DTS-Kettle，是个ETL工具集，应能够完成数据的抽取、转换处理和加载等功能，应给用户提供图形化的用户环境来定义数据处理任务。

2.6消息集群数据接入要求

        消息集群数据接入简称KQS，是一种分布式的，基于发布/订阅的消息系统。



《工业大数据平台技术规范数据储存》

湃睿科技，团体标准

3、起草依据

        本规则按照CB/T1.1——2009给出的规则起草的，由上海市计算机行业协会提出并归口。



4、起草单位

        上海湃睿信息科技有限公司、上海保康电子控制工程有限公司、上海蓝鸟机电有限公司、上海宝信软件股份有限公司、上海挚极信息科技有限公司、中国电子科技集团公司第三十二研究所、力信测量（上海）有限公司、华东师范大学、上海产业技术研究院、上海华谊信息技术有限公司、英特尔（中国）有限公司、上海众达信息产业有限公司、上海七牛信息技术有限公司、上海旋思科技有限公司、上海市计算机行业协会。

3、规则主要内容

1）范围：

        本标准规定了工业大数据中数据存储的术语和定义、数据存储的开放表存储、对象存储、过程数据存储、结构化数据存储的要求等。

2）数据存储要求

2.1综述

        不同类型的数据应采用相对应的数据存储标准：日志类型的半结构化数据应存储在基于NoSQL储存引擎的OTS中；图像、文档类的非结构化数据应存放架OSS中；时序数据应存放在PDS中；面向在线分析的关系型数据应存放在STS中。

2.2开放表存储要求

        OTS应支持多服务器分布集群部署，通过负载衡实高效的集群存储，以确保数据多倍冗余存储，提升数据安全性和可靠性；同时还应提供分布搜索引擎服务，以保证海量数据的实时检索。

2.3对象储存要求

        OSS应提供海量、安全和高可靠的云端储存服务，以解决海量图片文件的储存于检索问题。

2.4过程数据储存要求

        PDS应基于当前流行的开源大数据处理技术，实现分布式过程数据处理服务，使其具有高可靠、高可用、高性能和动态扩展的特性，并应满足工业大数据的存储要求，以弥补传统实时数据库的不足。

2.5结构化数据存储要求

        结构化数据服务（Structural Table Service），简称STS，应基于MPP架构实现分布式列式存储数据。



三、结语

        据《2017中国工业大数据产业发展概要》显示，2016年中国工业大数据市场规模已达150亿元，2020年这一数字预计将达到822亿元，在行业应用中，预计到2020年工业大数据的占比将达到6.64%。工业大数据应用将带来工业企业创新和变革的新时代，逐渐成为企业提高核心能力、整合产业链和实现从要素驱动向创新驱动转型的有力手段。实现数据规范的统一，不断构建工业大数据领域的专业标准，满足企业对工业数据应用高置信度的要求。将是行业急迫需要完成及完善的重任，此次，《工业大数据平台技术规范数据采集接入》 、《工业大数据平台技术规范数据储存》团体标准的完成与发布对于工业大数据行业领域具有非常的现实意义。