第一情报 ---信息产业

2017全球大数据产业技术发展趋势(二)

供稿人:宋凯  供稿时间:2017-9-28   关键字:2017  全球  大数据  技术  趋势    

我们继续介绍2017全球大数据技术将如何发展。

6、Spark和机器学习点亮大数据

Apache Spark作为Hadoop生态系统的一部分,现在正在成为企业选择的大数据平台。在对数据架构师、IT经理和商业智能分析师的调查中,近70%的受访者喜欢Spark甚于现有的MapReduce,MapReduce是批量导向的,不适用于交互式应用程序或实时流处理。

这种“大计算在大数据上”的能力提升了平台的一系列特性,包括计算密集型机器学习、AI和图形算法。特别是微软Azure ML,由于其初学者友好和易于与现有Microsoft平台的集成而脱颖而出。向大众开放ML将导致创建更多模型和应用程序而生成PB数据。随着机器学习和系统变得智能化,自助软件提供商如何使数据对最终用户更平易近人将成为关注焦点。

7、物联网、云和大数据的融合为自助服务分析创造新机会

IoT正在生成大量的结构化和非结构化数据,并且越来越多的这些数据被部署在云服务中。这些数据通常是异构的,并跨越多个关系和非关系系统,从Hadoop集群到NoSQL数据库。虽然存储和管理服务的创新加快了捕获过程,但访问和理解数据本身仍然构成了最后一个重大挑战。因此,对于能够无缝连接并结合各种云端托管数据源的分析工具的需求正在增长。这些工具使企业能够对存储在任何地方的任何类型的数据进行探索和可视化,帮助他们发现其物联网投资的隐藏机会。

8、随着终端用户开始塑造大数据,自助数据准备成为主流

使Hadoop数据可供商业用户访问是当代面临的最大挑战之一。自助服务分析平台的兴起改善了这一过程。但商业用户希望进一步减少准备数据进行分析的时间和复杂性,这在处理不同数据类型和格式时尤其重要。

敏捷的自助服务数据准备工具不仅允许在数据源准备Hadoop数据,还可以使数据作为快照,以便更快更轻松地进行探索。我们已经看到在这个领域的大量创新,如Alteryx,Trifacta和Paxata这些公司专注于最终用户为大数据进行数据准备,这些公司提供的数据分析工具正在降低Hadoop采用者和落后者进入的门槛,并将在2017年继续受益。

9、大数据增长使Hadoop增加企业标准

Hadoop成为企业IT环境核心部分的趋势正在增长。在2017年,更多的投资将投入围绕企业系统的安全和治理组件中。Apache Sentry提供了一个系统,用于对存储在Hadoop集群中的数据和元数据进行细粒度的基于角色的授权。创建Apache Atlas作为数据治理计划的一部分,使机构能够在数据生态系统中应用一致的数据分类。而Apache Ranger为Hadoop提供集中安全管理。

客户开始期望从企业级RDBMS平台上获得这些功能。这些功能正在走向新兴大数据技术的前沿,从而消除了企业采用大数据的另一个障碍。

10、元数据目录的兴起有助于人们找到值得分析的大数据

有很长一段时间公司抛弃了数据,因为它们需要太多处理。Hadoop可以帮助他们处理大量数据,但数据通常不会以可以找到的方式进行组织。

元数据目录可以帮助用户使用自助服务工具发现和了解值得分析的相关数据。现实与客户需求的差距正在由Informatica、Alation和Wlineline等公司来填补。这些公司使用机器学习,自动化在Hadoop中查找数据。他们使用标签编目文件,发现数据资产之间的关系,甚至通过可搜索的UI提供查询建议。这有助于数据消费者和数据管理员更快地建立信任,减少查找和准确查询数据所需的时间。在2017年,用户对自助服务发现将有更多认识和需求,并将随着自助服务分析的自然扩展而增长。

参考文献

1、Emerging Big Data Trends for 2017

https://www.dezyre.com

2、6 Predictions For The $203 Billion Big Data Analytics Market

https://www.forbes.com

3、2017 IT Industry Outlook

https://www.comptia.org

4、2016 IT Industry Outlook

https://www.comptia.org

 

 


注册成为正式用户,登陆后,获得更多阅读功能与服务!
转载本文需经本平台书面授权,并注明出处:上海情报服务平台www.istis.sh.cn
了解更多信息,请联系我们

§ 请为这篇文章打分(5分为最好)