第一情报 ---信息产业

2017全球大数据产业技术发展趋势(一)

供稿人:宋凯  供稿时间:2017-9-28   关键字:2017  全球  大数据    技术  趋势  

2016年是大数据的里程碑式的一年,更多机构存储、处理和提取所有形式及大小的数据的价值。2017年,支持大量结构化和非结构化数据的系统将继续上升。市场将需要有助于数据管理员管理和保护大数据的平台,同时使最终用户能够分析数据。这些系统将在企业IT系统和标准内部运行良好。以下是大数据技术的发展趋势。

1、大数据变得快速和平易近人

由于SQL是企业用户使用Hadoop数据、KPI仪表板探索性分析的渠道,因此企业用户希望SQL速度更快。对SQL速度的追求将推动采用更快的数据库(如Exasol和MemSQL)、基于Hadoop的商店(如Kudu),以及更快速的查询技术。查询加速器的使用,如SQL-on-Hadoop引擎(如Apache Impala、Hive LLAP、Presto、Phoenix和Drill)和OLAP-on-Hadoop技术(如AtScale、Jethro Data和Kyvos Insights),将进一步模糊了传统堆栈和大数据世界之间的界限。

2、大数据不再只是Hadoop,Hadoop专用工具已经过时了

过去几年里大数据技术大幅上升以满足Hadoop分析需求,但身处复杂异构环境的企业仅为Hadoop一类数据源(Hadoop)采用孤立的BI接入点是不够的,这些企业寻求的问题答案潜藏在多种数据源中,从记录系统到云仓库,从Hadoop源到非Hadoop源,从结构化数据到非结构化数据。即便是关系数据库也正在为大数据准备,例如,SQL Server 2016最近添加了JSON支持。

2017年客户将对所有数据进行分析,与数据和源无关的平台将会蓬勃发展,只针对Hadoop而不能部署在用例中的平台将会落后。 Platfora的出口是这一趋势的早期指标。

3、数据湖就像人造水库,机构将利用数据湖来获取价值

到2016年为止,机构构建并保持数据湖的工作基本告以段落,机构可以利用数据湖的中数据,做预测分析、机器学习、网络安全等。2017年,随着Hadoop愈来愈商化,机构将要求可重复和敏捷地使用数据湖以获得更快的答案。在投资人事、数据和基础设施之前,机构会仔细考虑业务成果,这将促进业务和IT之间建立更强大的合作伙伴关系。自助服务平台将作为利用大数据资产的工具得到更深入的认可。

4、成熟架构拒绝一刀切,Hadoop不再仅是数据科学用例的批处理平台

2016年,Hadoop已经成为一个用于特定分析的多功能引擎,它甚至被用于日常工作负载的操作报告,传统上这是由数据仓库处理的工作。2017年,机构将推行针对具体用例的架构设计来满足混合需求。在提交数据策略之前,机构将研究用户角色、问题、容量、访问频率、数据速度和聚合水平等多种因素。这些现代参考架构将是需求驱动型的。他们将结合最佳的自助服务数据准备工具、Hadoop Core和最终用户分析平台,以便随需求发展而重新配置。这些架构的灵活性将最终推动技术选择。

5、多样化而不是数量或速度驱动大数据投资

Gartner将大数据称为3Vs资产,即大容量、高速度、多品种的信息资产。尽管所有Vs都在增长,但品种正在成为大数据投资的最大驱动力。随着企业寻求整合更多信息数据源,并专注于大数据的“长尾”,这一趋势将会持续增长。从无模式的JSON到其他数据库(关系和NoSQL)中的嵌套类型,再到非平面数据(Avro,Parquet,XML),数据格式种类正在增长,连接器变得至关重要。在2017年,对分析平台的评估将依据其向这些不同种类的信息数据源提供直接连接的能力而定。

参考文献

1、Emerging Big Data Trends for 2017

https://www.dezyre.com

2、6 Predictions For The $203 Billion Big Data Analytics Market

https://www.forbes.com

3、2017 IT Industry Outlook

https://www.comptia.org

4、2016 IT Industry Outlook

https://www.comptia.org 


注册成为正式用户,登陆后,获得更多阅读功能与服务!
转载本文需经本平台书面授权,并注明出处:上海情报服务平台www.istis.sh.cn
了解更多信息,请联系我们

§ 请为这篇文章打分(5分为最好)