全面构建大数据开放格局

申请免费试用、咨询电话：400-8352-114

中国信息通信研究院 孙鑫 近日，“2015中国互联网+信息社会高端论坛”举行，会议以“信息资源挖掘与数据开放未来”为主题，围绕大数据产业当前发展到什么阶段，存在哪些问题和挑战，产业各方应如何破解展开了讨论。 大数据产业开放渐成共识 大数据是继云计算、移动互联网之后快速崛起的热点领域，在经历了2013年大数据元年的飞速发展后，我国大数据领域逐渐从技术积累和尝试阶段步入了产业化发展阶段，具备了加快发展构建大数据产业链的基础条件和能力储备，产业链形态初现端倪。 2014年12月，《中国大数据技术与产业发展白皮书（2014）》发布，对2015年的大数据发展进行了趋势预测，数据的商品化、数据共享的联盟化以及提升政府治理能力分列其中。与此同时，《白皮书》用“融合、跨界、基础、突破”等主要关键词概括了我国大数据产业的未来走向。由此可见，大数据开放格局在产业链中的重要地位已成为行业的普遍共识和一致诉求。2015年4月14日，全国首个大数据交易所“贵阳大数据交易所”挂牌运营，首批大数据产品成功交易，这标志着大数据资产化和经济效益的直接转换，同时对促进大数据资产的流通和共享具有重要意义。 开放格局面临新挑战 在大数据开放过程中，笔者认为还存在以下问题： 一是多源数据水平参差不齐，可用性有待提高。开放格局下的数据源要求在现有数据获取途径的基础上，提供更多样化的数据采集手段，并进一步提升数据采集的范围、频度和精度。目前各细分行业的采集手段较难统一，不同行业领域生成数据的过程往往依靠私有化和定制化的设备来实现，这也导致了各行业领域对同一数据内容的解读存在广泛的不一致现象，影响了公共数据的梳理和聚集。例如对同一数据来源，不同的行业领域可能采用不同的编码方式、存储类型、索引结构等，尽管数据的天然属性是唯一的，但表现在技术方式上多种多样，人为地造成了数据的“多样性”，致使数据整合难度加大，数据的直接可用性严重低下。 二是数据模型的衍生速度滞后于应用发展。开放格局下的数据分析和挖掘工作重点由传统的单一领域数据分析转为多领域数据的综合分析，相对应的数据模型也从平面式模型结构向数据模型立方体转变。数据模型的规范性和权威性会直接影响数据分析结果和战略决策的准确性，因此，缺乏高效可用的数据模型成为开放格局下数据分析挖掘服务能力的瓶颈所在。此外，目前数据模型的生成和创新主要依赖人工预设、人工智能和机器学习等传统方式，针对多源数据关联的模型仍然不成熟，高质量数据模型的衍生速度尚不足以匹配应用的迭代速度和业务场景对数据分析结果的高要求。 三是混搭架构的存在要求重视顶层架构设计。一方面，数据来源的多样化，以及数据应用兼顾在线分析（OLAP）、实时交易（OLTP）等多场景的现实诉求，决定了企业必须借助混搭技术要素来设计复杂的数据架构。另一方面，传统企业碍于现实生产系统效率和准确性的影响，IT系统“去IOE”的过程较为缓慢且不彻底，基于小型机构建的Oracle数据库较难被完全替代，基础设施类型和数据组织方式的异构性同样导致了混搭数据架构可能长期存在。如何面向企业数据需求构建包括传统关系型数据库、内存数据库和分布式文件系统等多元素的混搭架构，成为开放格局下数据保有者进行顶层架构设计所面临的新问题。 四是数据私有化和开放诉求的天然矛盾持续升级。数据私有化不仅体现在数据保有者对原始数据的不断积累，同时也作用于ETL等数据的私有化加工过程。出于对企业信息和用户隐私的保护，数据保有者通常将加工处理后的原始数据作为数据内容开放给上层应用使用，但不公开相应的数据加工转换规则。在缺乏行业标准的统一指导下，开放哪些数据字段、字段的编码映射规则及数据加工的精度等都导致应用提供者在数据开放格局中处于被动地位。随着数据范围的不断扩大和多领域数据关联结果的指数级增长，数据私有化的壁垒效应会越发明显。 当前我国大数据产业的组织方式是遵照数据生命周期的各生产加工步骤展开的，在新的数据开放格局中，实现数据价值和提供更广泛的数据服务仍将贯穿大部分数据生产加工流程。面对开放环境给大数据产业带来的全新挑战，把握数据流转过程的核心环节，推进多层次数据能力开放，有助于促成我国数据产业开放格局快速形成。 首先是“治数据之本”，加强对数据质量的控制。数据质量控制是数据开放共享格局的核心要素之一，理顺开放格局下多重数据来源是保障数据产业良性发展的抓手。建立各细分领域自行保有数据、集中维系数据血缘关系的统分模式是从源头上打通数据生产隔阂，提升数据质量的有效举措。在跨领域数据关联和加工过程中，通过规范的数据加工规则或提供加工流程的回溯检验能力，能够最大限度地实现数据溯源。 其次是打造集成化的数据服务开放平台，降低数据服务使用门槛。通过架构和技术路线的定制化，政府或企业有能力实现自数据存储之后的全部数据流转环节。其中，数据的加工与预处理是减小数据规模、提高数据可用性和单位存储成本价值的必要环节，开放格局势必促进去隐私化数据清洗、匿名转换等具有共性的加工处理手段以第三方服务或集成服务的方式对外供给；数据分析和可视化工具的可集成性与友好的人机交互设计也是降低数据服务使用门槛的主要保障。通过搭建开放平台的方式将上述服务能力统一整合，并作用于企业生产、行业分析和政府公共治理等各领域，有望成为我国大数据产业链在开放共享格局下的新型发展模式。 最后是推进多层次数据能力开放，鼓励全产业环节积极参与。数据服务能力贯穿数据流转过程，其开放性体现在多个层面，如数据的传输接口、数据的加工处理手段、数据的分析挖掘工具、数据的公共模型、数据的可视化操作界面等都是能力开放的重要形式。鉴于开源技术逐渐成为大数据的主流架构，沿袭开源开放的发展思路，通过数据生产加工过程各环节的深度参与，不断丰富和完善产业环境，是探索我国大数据产业互惠共赢格局的有效途径。   本文标题：全面构建大数据开放格局 Tags：