当今时代,数据正以爆炸式的速度增长,并且90%的数据都是在过去两年内创造出来的。打破相互独立的数据系统,实现标准化操作是大数据面临的主要任务。新技术打破了数据的独立性,提高了数据的分析能力,刺激了新的商业形式的出现。
数据以爆炸式速度增长
众所周知,当今时代,数据正以爆炸式的速度增长,世界上总共有多少数据,没有人能给出确切答案。
谷歌前首席执行官埃里克·施密特表示:“我们现在创造出来的信息量相当于过去整个人类创造出来的文明数量。从数字时代开始到2003年,我们只创造出5艾字节的信息。但是,我们现在每两天就能创造出5艾字节的信息,而且信息增长的速度还在不断加快。”
这个数据似乎有些言过其实。RJMetrics首席执行官Robert J.Moore在最近的TEDx演讲中提到,2002年只有23艾字节的信息被记录和复制,但我们现在每7天就能更新和转移这么多数据。
Gartner预测,企业数据在未来5年内将增长650%。IDC认为,全世界的信息在一年半内即可翻一倍。2011年,全球创造了1.8泽字节的信息,若要将这些信息储存在电子设备中,则需要575亿台规格为32G的iPad,将如此多的iPad连接起来,长度是中国万里长城的两倍。
IBM认为,我们每一天都能创造出2.519字节的信息。数据正在呈指数式增长。并且,当今世界上90%的数据都是在过去两年内创造出来的,这些数据来自各个方面,比如传感器收集的气象信息、数字图像和数字视频、电子商务交易记录等。
在实际生活中,我们每一天的每一分钟都在创造数据:超过2.04亿封电子邮件消息,超过200万条的谷歌查询,48小时更新的YouTube视频,68.4万条分享在Facebook上的内容,10万余条推特,3600张分享在Instagram的新照片,将近350篇新发布的WordPress博客等。
标准化操作是主要问题
打破相互独立的数据系统,实现标准化操作是大数据面临的主要问题。
我们一方面要积累数据,另一方面要处理数据。由于数字储存价格低廉,因此人们把所有数据都储存起来。确切地说,人们不愿自找麻烦去删除数据。在网络存储方面也一样,在线存储供应商会定期免费放出几个GB的数据供客户使用。目前,许多企业正在努力处理无止境扩张的数据,如果不这么做,企业将失去竞争力。
IBM表示,数据的指数化增长将给许多企业留下误区。IBM研究发现,企业领导经常作出一些无数据支撑的决策,或者他们的决策是基于置信度不高的信息之上。更令人惊讶的是,半数企业领导者表示,他们尚未找到可以让工作效率提高的信息途径。
虽然大多数企业领导和相关人员知道,与工作相关的数据确实存在,但他们不知道从哪里获得这些数据。他们试图寻找这些相关数据,但始终不能确定数据的实时性和准确性。我们追求的不只是原始数据,而是要分析这些数据。
数据分析刺激新商业模式
新技术打破了数据的独立性,提高了数据的分析能力,刺激了新的商业形式的出现。
分析大数据技术的进步让研究人员能够在数分钟内解码人体DNA,这项技术让基因公司(如23andme公司)成功运转。同时,研究人员能够预测恐怖分子预谋的袭击地点、特定的疾病是由哪种基因引起、分析Facebook上最有可能回复的广告内容。
事实上,由PNAS发布的最新研究显示,当人们在Facebook上点击“赞”的内容时就可显示自己的性格特征,比如智力、性别、性取向、政治倾向或者其他个人信息。
为提高热门剧《纸牌屋》的收视率,网飞公司(Netflix)挖掘和分析用户数据,而且他们通过运用这些数据,同样使他们的情景喜剧《发展受阻》起死回生。
法国电信实施了Data for Development项目,为象牙海岸的客户提供用户数据。数据包括25亿条匿名记录,其中有500万人之间的通话记录和互通短信。
许多研究人员给法国电信建议,认为这些数据可以成为公司项目的基本信息。在所提议的项目中,有一项目是通过追踪手机数据了解人们在紧急情况下的去向,以此来提高公共安全。另一个项目是怎样用手机数据来了解疾病的传播。事实上,推特已在海地霍乱爆发时成功运用了该项功能。
美国国家安全局的Prism项目就是依赖大数据分析而运行的。这个项目将手机通话记录、电子邮件来往、即时通信聊天、社交媒体等数据元导出,并进行处理。
美国政府支持这个项目,因为他们认为根据大数据分析可以制定关键的防御措施。如果某人被认定为恐怖组织的嫌疑人,他的通话记录可以显示出其他恐怖分子的行踪,帮助国土安全部的官员锁定最有可能即将被袭击的目标。
大数据市场投资空间大
2012~2017年,大数据市场将以年均31%的速度增长,企业有很大的投资空间。
目前,大数据分析市场仍处于起步阶段。Software AG、Oracle、IBM、Microsoft、SAP、EMC、HP等大软件公司互相争抢充满生机的新企业,如Datameer、Alpine Data Labs、SiSense、Cloudmeter等。大公司花费数十亿美元,收购数据管理和分析软件公司,如Apema、Jacada、More IT Resources、Vertica、Vivisimo等,这些新公司依靠风险投资基金运行。
许多研究大数据分析的新型企业主要定位于社会营销(DataSift)、电视广告购物(Rocket Fuel)、应用性能(Cloudmeter)、求职招聘(Bright.com)等领域。
根据Wikibon的调查,2012年大数据市场总额为114亿美元,2013年将达到181亿美元,2017年将达到470亿元。在2012~2017年,大数据市场将以年均31%的速度增长。显然,投资商们还有很大投资空间,他们希望在不久的将来,有更多数据能被整合。