深圳市灵狮文化产业集团有限公司
从国防安全到衣食住行，大数据早已渗透到我们社会生活的方方面面。在现如今的大数据时代，我们变得越来越透明。通过网络，我们支付会产生数据;我们打车，会产生数据；我们聊天，会产生数据；就连我们订餐，都会产生数据。我们赖以生存的手机、电脑上都存留着我们的痕迹。信息时代，大数据成为了新的生产要素。
今天，大数据概念的讨论越来越少，大数据应用却如雨后春笋般涌出，这预示着大数据产业已经告别了概念炒作，进入了实实在在的落地阶段。在这一背景下，包括电力、金融、教育、医疗甚至农业等诸多行业正在大力拥抱大数据，如何拥有大数据思维，如何善用大数据分析，如何以大数据激发传统产业活力等问题成为关注重点。虽然大数据产业的发展刚刚起步，但是人们对于未来大数据应用的美好前景充满了期待。
马云曾经在一次演讲中提到，未来的时代将不是IT时代，而是DT时代，DT就是Data Technology数据科技，显示大数据对于阿里巴巴集团来说举足轻重。
究竟何为大数据
最早提出大数据时代到来的是麦肯锡：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”
这里，可以引用3个比较常用的大数据定义：
1、需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。—— Gartner
2、海量的数据规模(Volume)、快速的数据流转和动态的数据体系(Velocity)、多样的数据类型(Variety)、巨大的数据价值(Value)。—— IDC
3、或称巨量数据、海量数据、大资料，指所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。—— Wiki
要理解大数据这一概念，可以先从"大"入手，"大"是指数据规模，大数据一般指在10TB(1TB=1024GB)规模以上的数据量。大数据同过去的海量数据有所区别，其基本特征可以用4个V来总结。
Volume(大量)：从TB级别，跃升到PB级别。
Velocity(高速)：1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。
Variety(多样)：如网络日志、视频、图片、地理位置信息等。
Value(价值)：以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。
大数据时代的挑战
在大数据时代的今天，隐私或成为最大的挑战。对纯理论者来说，大数据是指超过传统数据库能力的数据集软件。对于不断增长的人群来说，大数据是用来快速进行预测分析。对其他人来说，大数据意味着一个由1和0组成的惊人的数字组合。
不过，大数据的类型大致可分为以下几方面：
1、传统企业数据(Traditional enterprise data)：包括传统的ERP数据，库存数据以及账目数据等。
2、机器和传感器数据(Machine-generated /sensor data)：包括呼叫记录、智能仪表、工业设备传感器及交易数据等
3、社交数据(Social data):包括用户行为记录、反馈数据等，比如微信、QQ这样的社交媒体平台。
大数据未来的发展境遇
随着大数据的应用范围不断扩大，越来越多的公司开始部署大数据战略。同时，大数据技术也使得商业发展的速度更快、效率更高。通过大数据技术，企业可以更轻松地获取信息，以便进行更准确地决策。
1、隐私问题将成最大挑战
据一项调查机构显示，到2018年，近50%的企业都将面临隐私泄露问题。大数据时代，解决用户隐私泄露问题，就是解决大数据发展与使用的问题。
2、人工智能将广泛应用
在过去的一年中，我们亲眼见证了人工智能的爆发：无人驾驶汽车试驾成功、AlphaGo围棋获胜。随着人工智能技术日益成熟，未来公司企业将很大程度上依赖于这项技术。
3、将推出更多分析工具
随着数据量的不断增长，数据分析方法也将进一步提高。虽然SQL依然会是数据分析的标准方法，但是新兴分析工具也不可小觑。Spark，作为大数据时代下的一个快速处理数据分析工作的框架，如Google，Facebook等现已纷纷转向Spark框架。
大数据带来了前所未有的机遇，让我们做好准备，迎接新一年的大数据元年。
