计 172 ( 10170828 )程慧艳
摘要:近年来,“大数据”已然成为 IT 界如火如荼的词,与“云计算”并驾齐驱,成 为带领 IT 行业发展的两列火车。尤其在当今这个物联网快速发展的时代,数据已经成 为新的资源,是支撑物联网发展的基石。本文通过对大数据的简要诠释以及一些大数据 在国内外的应用实例来对大数据产业的发展、社会定位以及价值实现途径进行探索,最 后分析未来大数据产业的发展。
关键词:大数据,大数据技术,数据挖掘,数据变现,应用
1. 大数据时代
大数据?多么时髦的词!就连农民看新闻的时候,都会听到它。只要是能涉及到大 数据的,各个行业都不会放过,比如汽车、医疗、教育、金融、饮食、传媒、零售业、 农业等。如你所见,大数据已经不是 IT 行业的专有名词了,而是与我们生活息息相关 的事物,我们已经进入了大数据时代。
相信对于大多数人来说,大数据也就只是一个经常听到的似乎很高端大气的词罢 了,其实不然,要认识大数据,首先就要知道它是什么。那么,什么是大数据呢?我们 来看看官方的定义:大数据( Bigdata ) ,或称巨量数据、海量数据、大资料,指的是所 涉及的数据量规模巨大到无法通过人工在合理时间内截取、管理、处理并整理成人类所 能解读的信息。
IBM 提出了大数据的 5 个特点:大量、高速、多样、价值、真实性。
维克托•迈尔•舍恩伯格教授在《大数据时代》一书中指出,大数据不用随机分析法 (抽
样调查)这样的捷径,而是采用所有数据进行分析处理。简言之,从各种类型数据 中快速获得有价值信息的能力就是大数据技术, 也正是这一特点促使该技术具备了走向 实际应用的潜力。
2. 数据资源(数据就是“金库”) 从数据类型来看,大数据可分为三类。
•传统企业数据:包括CRM Systems的消费者数据、传统的ERP数据、库存数据及账 目数据等。
•机器和传感器数据:包括呼叫记录、智能仪表、工业设备传感器、设备日志、交易数据 等。越来越多的机器配备了连续测量和报告运行情况的装置。几年前,跟踪遥测发动机 运行仅限于价值数百万美元的航天飞机。现在,汽车生产商在汽车中加入了监视器,连 续提供车辆机械系统的整体运行情况。
•社交数据:包括用户行为记录、 反馈数据等。 计算机产生的数据可能包含着关于因特网 和其他使用者行动与行为的有趣信息,从而提供了对他们的愿望和需求潜在的有用认 知。还有人们通过短信、QQ、微博、微信、电子邮件等产生的文本及图像信息。
这三种数据都价值连城,甚至有说法称,谁掌握数据资源,谁就掌握了“金库”。 当然,要将数据变成正真的“金库”,还需要一个过程,一个分析的过程,一个总结的 过程,一个预测的过程。 最终,数据能帮人们提高预测的能力。 通过大数据的处理工具, 提取精华,总结规律,预测行为
随着计算机处理能力的日益强大,获得的数据量越大,挖掘到的价值就越多从目前 大数
据的格式和内容来看,产生的数据内容中有 90%是非结构化数据,如短信和微博
生成的信息,以及视频和音频,情况将变得越来越复杂(至今最大的数据是音频、视频 和符号数据,这些数据结构松散、数量巨大,挖掘难度很大)。无论身处哪个行业,围 绕大数据及管理这些数据的挑战无处不在。
据麦肯锡全球研究院计算,大数据将给美国医疗服务带来 3000亿美元的价值,使 美国零售业净利润增长达到 60%,使制造业产品开发、组装成本下降 50%。而大数据 所带来的新的技术应用需求将带动整个信息技术产业的创新发展。
3.大数据的应用
(1)预测未来
目前来说,预测未来是大数据最被期待的应用。
这里简单介绍一种用大数据预测未来的方法--时间序列法:
通过分析序列进行合理预测,提前掌握未来的发展趋势,为业务决策提供依据,这也是 决策科学化的前提。
时间序列分析:时间序列就是按照时间顺序排列的一组数据序列。时间数列分析就是发 现这组数据的变动规律并用于预测的统计技术。
分析工具:SPSS(数据分析的重量级应用,与SAS二选一)
实践案例:通过历史数据预测未来数据,所涉及的都是最简单实践,抛砖引玉,重在方 法,不论多复杂的数据,方法是一样的。 时间序列分析有三个基本特点:
长期建苗 Trend ⑴ 阳左一个相宜性的对問內丧虹为一脱Hi臭迪纯向上红向下强印穆的皑吗 no in內生 爭节蹇动
Seawri (81
指青空节娈功略晌冊威的一种眄曲雨丘忒和国国墾竺*苛”的胛惟亦彌Si的谢k
局限于首然孚节,还包誓月f周菁短滿肝
府一冲吻履吋1间囱上下起件阿帧起諦画Iff琛if?. MWwiilfFJ-.ifift
A
的i®动
不理则直功 Irr他由]门 i
裕测迥因彙9响術阳底药不臥钊叢呐,在罚间序列車无:击曲计
CHIBS!市爲受到突橹出坝和|」好車利空消息影响便出
15帯严生連动
并不是所有的时间序列都一定包含四种因素,如以年为单位的诗句就可能不包含季节变 动因素。
四种因素通常有两种组合方式:
原始时间序列值和长期趋势可用绝对数表示;
季节变动、循环变动、不规则变动可用相对数(变动百分比)表示。
这种方法通常被用来预测和时间变化有关的未来, 比如由近几年的销售量预测明年的销 售量。
还有其他根据数据分析进而预测未来的一些实例,举例如下:
电商利用用户行为分析预测用户人群,品类,时间,数量等等;金融业(特别是资本市 场业)利用舆情预测股票走势,从而量化决定投资组合;制造业公司利用收集设备使用 信息预测产品/组件的失效期,从而进行主动/预测性维护。 (2)大数据帮助我们购物
相信大家平时会在在淘宝或京东等这样的购物平台上购物,如果你细心,你会发现,当 你打开浏览器时,它在顶部显示的一些商品都是你近期搜索或浏览的感兴趣的东西。这 其实就是后台大数据服务器运行的结果。它根据你的浏览记录或购买记录,分析你的行 为,挖掘你的喜好,进而为你推荐相关的产品。
(3) 大数据让我们避免堵车
我们每天在公路上行驶时,可以通过智能手机查看道路信息,从而判断前面的路是否通 畅,
进而选择最佳的行车路线。同时可以快速的找出附近的餐馆、银行、超市、加油站 等信息。
(4) 大数据帮我们治疗疾病
很多科幻大片中都有机器人帮人类治病的镜头,实际上这已经不再是幻想,很多医院都 已经引入机器人帮患者诊疗甚至做手术。大数据告诉我们各种症状的真正原因及解决方 案。2017年2月十四日,科技巨头IBM跨界医疗对抗癌症,通过IBM Watson 计算 系统,几分钟就可以处理完一支专家团队通常要处理几小时甚至几天的数据。虽然目前 大数据在医疗方面的应用并不广泛,但是大数据医疗已经成为一种趋势。
(5) 大数据帮助反腐
大数据可以对一个人的财产进行统计分析,及时显示其清廉与否。还可以迅速查证其偷 税漏税的情况(已有实例)。
(6) 大数据帮助我们做检查
健身腕带可以收集有关我们走路或者慢跑的数据,例如我们走了多少步、燃烧了多少卡 路里、我们的睡眠模式或者其他数据,然后结合这些数据与健康记录来改善我们的健康 状况。
除了这些基本的应用以外,还有一些异想天开的应用,比如美国的人类学教授杰夫布兰 廷汉姆认为他可以犯罪数据的模式来预测犯罪可能发生的地点,从而提前做好准备,防 止犯罪发生;英国遗传学家菲尔比尔斯教授希望通过大数据分析找到遗传病的真正病 因;英国科学家戴维哈丁尝试通过对大数据的分析来预测金融投资;天文学教授西蒙拉 特克里夫试图通过对大量宇宙数据的分析来编制整个宇宙的目录。
看起来这些研究都异想天开,但在对大量数据进行分析后这些设想的实现似乎也不是那 么遥
不可及了。
4大数据的未来展望
大数据产业或将成为战略性产业,各个国家都将推动大数据的战略性产业,将利用大数 据来提高国家的经济决策和社会服务能力,保障国家安全;大企业大数据选项预示着大 企业将成为大数据技术研发与应用最为活跃的群体;政府大数据选项则预示着一些拥有 大数据的政府部门将纷纷利用积累的数据采用大数据技术进行分析,
从而产生突出的经
济效益。从产业拓展的角度看,大数据是继云计算、物联网之后的一个巨大的新产业领 域。而且其所蕴含的机会和挑战将大大多于云计算和物联网。大数据产业(数据产业) 具有很强的蜂箱效应,除了产业自身的经济蕴含量之外,还将大大撬动其它产业的跨越 升级。
参考文献:
[1] 何金池,大数据处理之道[M],北京,电子工业出版社,2016,1-5
[2]
谈[EB/OL], http:\\\\www.wenku.baidu.com
—米阳光,大数据浅, 2014.10.08
[3] 地平线节目,大数据时代[纪录片],英国,来源为腾讯视频,2017
[4] 康 安 途 海 外 医 疗 , 科 技 巨 头 IBM 跨 界 医 疗 对 抗 癌 症 [EB/OL] , http://m.kangantu.com
思考问题:如何对数据进行高效分析使其变成真正的资产?
从大数据“生成”到“产生价值”,需要一个很复杂的过程:首先要收集数据,然后对 数据进行预处理和储存,最后对这些储存的数据进行分析和挖掘,并最终展现在用户面 前,成为真正有用的资产。那么在这个过程中需要对大数据进行分析,所以如何分析大 数据就是我们要思考的问题。
因篇幅问题不能全部显示,请点此查看更多更全内容