随着社会的进步和信息通信技术的发展,信息系统在各行业、各领域快速拓展。这些系统采集、处理、积累的数据越来越多,数据量增速越来越快,以至用海量、爆炸性增长等词汇已无法形容数据的增长速度。
2011年5月,全球知名咨询公司麦肯锡全球研究院发布了一份题为《大数据:创新、竞争和生产力的下一个新领域》的报告。报告中指出,数据已经渗透到每一个行业和业务职能领域,逐渐成为重要的生产因素;而人们对于大数据的运用预示着新一波生产率增长和消费者盈余浪潮的到来。2012年3月29日,美国政府在白宫网站上发布了《大数据研究和发展倡议》,表示将投资2亿美元启动大数据研究和发展计划,增强从大数据中分析萃取信息的能力。
什么是大数据?
大数据到底有多大?根据研究机构统计,仅在2011年,全球数据增量就达到了1.8ZB(即1.8万亿GB),相当于全世界每个人产生200GB以上的数据。这种增长趋势仍在加速,据保守预计,接下来几年中,数据将始终保持每年50%的增长速度。
纵观人类历史,每一次划时代的变革都是以新工具的出现和应用为标志的。蒸汽机把人们从农业时代带入了工业时代,计算机和互联网把人们从工业时代带入了信息时代,而如今大数据时代已经到来,它源自信息时代,又是信息时代全方位的深化应用与延伸。大数据时代的生产原材料是数据,生产工具则是大数据技术,是对信息时代所产生的海量数据的挖掘和分析,从而快速地获取有价值信息的技术和应用。
概括来讲,大数据有三个特征,可总结归纳为3V,即量(Volume)、类(Variety)、时(Velocity)。量,数据容量大,现在数据单位已经跃升至ZB级别。类,数据种类多,主要来自业务系统,例如社交网络、电子商务和物联网应用。时,处理速度快,时效性要求高,从传统的事务性数据到实时或准实时数据。
数据挖掘,又称为知识发现(Knowledge Discovery),是通过分析每个数据,从大量数据中寻找其规律的技术。知识发现过程通常由数据准备、规律寻找和规律表示3个阶段组成。数据准备是从数据中心存储的数据中选取所需数据并整合成用于数据挖掘的数据集;规律寻找是用某种方法将数据集所含规律找出来;规律表示则是尽可能以用户可理解的方式(如可视化)将找出的规律表示出来。