第一情报 ---信息产业

大数据关键技术发展态势

供稿人:孙帆  供稿时间:2018-4-8   关键字:大数据  数据挖掘  机器学习  

随着云计算、移动互联网和物联网等新一代信息技术的广泛应用,全球数据的增长速度之快前所未有,将“大数据”这一概念推向战略前沿。

一、大数据关键分析技术

1、机器学习技术

机器学习最主要的一个研究重点是自动学会识别复杂的模式,并基于数据作出明确的决定。

2、数据挖掘技术

数据挖掘结合数据库管理的统计和机器学习方法从大数据集提取模式。比如挖掘客户数据以确定最可能获得订单的客户群,或市场购物篮分析来模拟客户的购买行为。

3、自然语言处理技术

使用计算机算法来分析自然语言。比如使用社交媒体的情绪分析,以判断潜在客户对一个品牌活动的反应。

4、神经网络技术

神经网络通过生物神经网络的结构和运作的启发发现数据模式的计算模型,非常适用于发现非线性模型。比如识别高价值客户离开公司的风险以及识别欺诈性保险理赔。

5、模式识别技术

依照一种特定的算法给某种产值(或标签)分配给定的输入值(或实例)的机器学习技术。

6、关联规则挖掘技术

发现大数据仓库中变量之间的关系。比如市场购物篮分析,零售商可以确定哪些产品是经常一起销售的,并使用这些信息进行营销。

7、分类技术

在已确定分类的基础上,识别新的数据点属于哪种类别。比如对特定客户行为的预测(例如购买决策、流失率、消费率等),有一个明确的假设或客观的结果。

8、数据聚类技术

划分对象的统计学方法,将不同的集群划分成有相似属性的小群体,而这些相似属性是预先未知的,是一种没有使用训练数据的无监督学习。

9、数据融合和集成技术

集成和分析多个来源数据,比分析单一来源数据更能获得高效、可能更精确的结果。从网络采集的数据经过整合对复杂的分发系统的表现,比如炼油。

10、遗传算法

通过模拟自然进化或适者生存过程的搜索最优解,非常适合求解非线性问题。比如改善作业调度、优化投资组合等。

11、回归技术

确定当一个或多个自变量变化时因变量变化的程度。比如基于不同的市场和经济变量或最能影响客户满意度的制造业参数,来预测销售规模。

12、预测模型

通过建立或选择一个数学模型得出最好预测结果。比如通过预测模型估计客户会流失的可能性或者客户被交叉销售其他产品的可能性。

二、大数据关键处理技术

目前大数据关键处理技术主要有Cassandra、数据仓库、数据集市、分布式系统、Dynamo、GFS、Hadoop、HBase、MapReduce、Mashup、元数据、非关系型数据库、关系型数据库、R 语言、结构化数据、非结构化数据、半结构化数据、SQL、流处理技术等。

三、大数据的可视化技术

1、标签云

用以表示网站中的内容标签,标签的排列顺序一般依照字典排序,按照热门程度确定字体的大小和颜色。

2、历史流

针对一个条目的页面的编辑历史,以时间作为横轴,展示页面的不同部分的变化情况。

3、Clustergram

函数clustergram对数据分级聚类,并产生数据的热红外分布图和树状图,通过更改相关参数可以改变其颜色配置。

4、空间信息流

运用计算机图形图像处理技术,将复杂的科学现象和自然景观及一些抽象概念图形化的过程。

四、大数据安全保密技术

1、用户身份认证

由系统提供一定的方式让用户标识自己名字或身份,当用户要求进入系统时,由系统进行核对。常用的技术包括:传统的基于口令的身份认证、基于随机口令的认证技术、基于PKI体制的数字证书认证技术等。

2、授权机制

系统依据某些控制策略对主体访问客体所进行的控制。主要访问控制模型有自主访问控制模型DAC、强制访问控制模型MAC、基于角色的访问控制模型RBAC和基于任务的访问控制TBAC等等。

3、数据库加密

把数据信息即明文转换为不辨识的形式即密文。最有名的算法是由美国颁布的数据加密标准DES为代表的传统密钥密码算法和以RSA算法为代表的公开密钥算法等。

4、视图机制

进行存取权限的控制,不仅可以通过授权来现,而且还可以通过定义用户的外模式来提供一定的安全保护功能。

5、审计追踪与攻击检测

审计功能在系统运行时,自动将数据库的所有操作记录在审计日志中;攻击检测系统则根据审计数据分析检测内部和外部攻击者的攻击企图,再现导致系统现状的事件分析发现系统安全弱点,追查相关责任者。

参考文献

中商情报网. 全球及中国大数据市场前景及发展战略咨询报告. http://www.askci.com/reports/20180130/1800115265827548.shtml

 


注册成为正式用户,登陆后,获得更多阅读功能与服务!
转载本文需经本平台书面授权,并注明出处:上海情报服务平台www.istis.sh.cn
了解更多信息,请联系我们

§ 请为这篇文章打分(5分为最好)