发新话题
打印

大数据--开启全新商业模式

大数据--开启全新商业模式

http://liangfei2010.blog.sohu.com/300793557.html


大数据--big data


大数据是什么


海量数据

大数据--开启全新商业模式


大数据的4V:数据量大、输入和处理速度快、数据多样性、真实性


大数据定义

大数据(英语:Big data),或称巨量数据海量数据大资料,指的是所涉及的数据量规模巨大到无法通过人工,在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。网络上每一笔搜索,网站上每一笔交易、每一笔输入都是数据,通过计算机做筛选、整理、分析,所得出的结果可不仅仅止得到简单、客观的结论,更能用于帮助企业经营决策,搜集起来的数据还可以被规画,引导开发更大的消费力量。


云技术基于大数据

  大数据的常见特点是4V:Volume、Velocity、Variety、Veracity(数据量大、输入和处理速度快、数据多样性、真实性)。
定义:

我们在数据的海洋里

  “大数据”是由数量巨大、结构复杂、类型众多数据构成的数据集合,是基于云计算的数据处理与应用模式,通过数据的集成共享,交叉复用形成的智力资源和知识服务能力。
  大数据由巨型数据集(英语:Data set)组成,这些数据集大小常超出人类在可接受时间下的收集(英语:data acquisition)、庋用(英语:data curation)、管理和处理能力,大数据必须借由计算机对数据进行统计、比对、解析方能得出客观结果。美国在2012年就开始着手大数据,奥巴马更在同年投入2亿美金在大数据的开发中,更强调大数据会是之后的未来石油。
  

数据挖掘(Data Mining)则是在探讨用以解析大数据的方法。

数据的可视化

  在一份2001年的研究与相关的演讲中,当时麦塔集团(英语:META Group,现被高德纳咨询公司收购)的分析员道格·莱尼(Doug Laney)指出数据增长有三个方向的挑战和机遇:量(Volume,数据大小)、速(Velocity,数据输入输出的速度)与多变(Variety,多样性),合称“3V”或“3Vs”。高德纳与现在大部份大数据产业中的公司,都继续使用这3个V去描述大数据。于2012年,高德纳修改了对大数据的定义:“大数据是大量、高速、及/或多变的信息资产,它需要新型的处理方式去促成更强的决策能力、洞察力与优化处理。”另外,有机构在3V之外定义第4个V,真实性(Veracity)为第四特点(也有称第四点为Veracity,价值密度低)。

  
大数据应用的三大驱动力

  看到数据之变化
代表性人物与分析方法
facebook--扎克伯格分析大数据本身,以及数据之间的交互关系,人类通常使用多媒体的方式呈现视觉效果,以下举出代表性的人士、以及分析工具。


大数据应用


大数据涉及技术和厂商

  • 汉斯·罗斯林、国际卫生学教授、使用工具“Trendalyzer软件”。目的是呈现两百多年以来全球人类的人口统计数据,跟其他数据交叉比对、例如︰收入、宗教、能源使用量……等等。详细的表达方法及说明,可以在中文维基该条目中“演讲录影”观看。


大数据竞争格局

应用示例
  • 台湾“e化天眼计划”系统,在2013年八里双尸案侦办时、调阅警方与民政系统共305具监视器图像数据时间长达1个月,将谢依涵、吕炳宏、张翠萍、陈进福等人的车辆轨迹与通联纪录输入后、将零星、片段数据,分析图像、比对车号进行交叉比对。锁定死者失踪前、尸体被发现后,失踪当晚究竟是赴谁的约会?警方表示,“人证会有记忆上的遗漏或误差”,但科学办案完全以证据说话。


大数据在实体零售商的应用

  • 日本“N系统”(自动车ナンバー自动読取装置),可以全年无休对道路上行驶的车辆牌照拍照存盘,记录下行驶的路线与时间。同时在数据库中比对被通缉中嫌犯或窃赃车的车牌号码,如果发现符合,该系统立即通知在外巡逻的警员(配合携带式接收设备),及时对该车辆进行栏截围捕。另外、东京都警视厅也配合“3D脸部自动辨识系统”辨识人貌鉴定,警察如需调查案情之时,就能够调出数据库数据,进行交叉比对,筛选出可疑的犯罪目标。


开源工具


大数据对所在行业产生的影响

  • Apache Hadoop是开放源代码的分散式文件系统,可以用于各种不同计算机之间,总和成为单一计算机系统进行平行运算。
  以上二则常被误认为是大数据以及数据挖掘的应用,乃因其一仍然以人工比对、费时费力,其二并非从一无法管理之庞大数据中解析所需信息。
  

  商业大数据工具
  • 一体机
IBM Netezza, Oracle Exadata, SAP Hana等等
  • 数据仓库
Amazon Redshift, Teradata AsterData, EMC GreenPlum, HP Vertica等等
  • 数据集市
Fongrai, QlikView, Tableau, Yonghong Data Mart等等

  
大数据时代的到来,我们一起启迪未来

TOP

发新话题