大数据以其鲜明的四大特点——大量、多样、高速和价值,被人们普遍称为4V。
大数据的“大量”特点体现在数据的爆炸式增长。从过去的MB级别,到现在的PB、EB级别,数据的存储需求急剧扩大。随着信息技术的高速发展,社交网络、移动网络、各种智能工具等成为了数据的主要来源。例如,淘宝网近4亿的会员每天产生的商品交易数据约20TB。
为了应对这种大规模的数据增长,我们需要智能的算法、强大的数据处理平台和新的数据处理技术,来统计、分析、预测和实时处理这些数据。
大数据的“多样”特点则体现在数据来源的广泛性。任何形式的数据都可以产生作用。目前,应用最广泛的推荐系统如淘宝、网易云音乐、今日头条等,都会通过对用户的日志数据进行分析,为用户推荐他们可能喜欢的东西。日志数据是结构化明显的数据,但还有一些数据结构化不明显,例如图片、音频、视频等,需要人工对其进行标注。
大数据的产生非常迅速,主要通过互联网传输。每个人每天都向大数据提供大量的资料,这些数据需要及时处理。因为保存大量历史数据的成本非常高,所以许多平台只会保存最近几天或一个月的数据,再远的数据就会及时清理。这也使得大数据对处理速度有非常严格的要求,许多平台都需要做到实时分析。
大数据的核心特点是“价值”。在现实世界所产生的数据中,有价值的数据所占比例很小。相比于传统的小数据,大数据的最大价值在于从大量不相关的各种类型的数据中,挖掘出对未来趋势与模式预测分析有价值的数据。
虽然大数据仍处在发展的初级阶段,面临诸多挑战,但我们对其未来前景充满信心。
1. 数据规模呈现惊人增长
近年来,随着社交媒体、移动互联网、电子商务及云计算的迅猛发展,音频、视频、图像和日志等各类数据呈现爆炸式增长。据统计,全球数据规模在2011年已经相当庞大,而现在的数据量更是达到了惊人的程度。预计到2020年,全球数据将达到惊人的规模,这种增长趋势预计会持续下去。这种飞速的数据增长也引起了巨头们的注意,各大互联网公司正在积极运用大数据来提升自身竞争力。
2. 数据成为最宝贵的资源
大数据时代已经到来,数据已经成为继土地、劳动和资本之后的又一重要要素,正逐渐成为企业核心竞争力的关键。数据的重要性已经被各大企业所认识到,它们正在成为机构和企业争夺的焦点。像谷歌、苹果、亚马逊等互联网巨头已经开始利用大数据取得商业上的巨大成功,并通过大数据不断提升自身的竞争力。数据还被视为一种有价值的资产类别,其价值甚至超过了货币或黄金。
3. 大数据与各行各业的深度融合
通过对大数据的收集、整理和分析,我们可以发现城市治理难题,预测经济运行趋势,并推动精确设计和生产模式的发展。这种深度融合正在引领服务业向精确化和增值化的方向前进,为创意产业带来新的发展机遇。在智慧城市建设中,大数据发挥着越来越重要的作用。无论是麦当劳、肯德基还是苹果公司的专卖店选址,都是基于数据分析的结果。随着智慧城市建设不断推进,大数据将在其中发挥更大的作用。
4. 数据开放共享成为必然趋势
大数据是人类共同的财富和资源,开放共享是历史发展的必然趋势。越来越多的国家和企业开始认识到开放数据带来的社会价值和商业价值。未来全球将会掀起数据开放的热潮。要发挥大数据的最大价值,需要全球共同协作,将私有数据转化为公共数据,避免形成“数据孤岛”。数据的价值在于关联和开放,尤其是公共事业和互联网企业的数据开放将越来越普遍。
5. 大数据安全受到高度重视
随着大数据在社会经济中的应用越来越广泛,其安全问题也引起了越来越多的关注。在大数据时代,我们利用数据挖掘和分析技术获取有价值信息的“黑客”也可能利用这些技术发起更精准的进攻。为了应对这一问题,美欧等发达国家已经制定了一系列保护信息安全和隐私的法律法规。未来其他国家也将跟进以保护本国、企业和居民的数据安全。
6. 大数据人才成为热门职业
随着大数据技术的不断发展,大数据分析人才成为市场上热门的职业。这些人才包括大数据分析师、数据管理专家等在各行业都受到热烈追捧。为了满足市场需求,许多企业开始与高校合作培养这类人才。预计未来将会有更多的机构和企业参与到大数据人才的培养中来。(作者:武锋)
申请使用