大数据时代 > 数据周刊 >
数据周刊:1月12日--1月16日
发布时间:2015-01-16 16:26    阅读次数:
本文关键字:大数据
  大数据营销真的应该被无条件抵制吗?
大数据
  社交媒体的本质在于分享和传播,社交媒体的出现的确满足了人们分享个人信息、晒各种数据的欲望,让人们在过去无声无息的生活中突然转移到了可以让全世界看到自己的平台上来。人们从而达到了内心的满足感和存在感。因此,单从个体的背后心理来考虑,社交媒体对他们来说是有益的,他们不认为自己贡献的是不可告人的秘密,既然分享出来,那一定是希望或允许别人看到的。因此,这是一种无形的默许的交易,用户乐意把自己的各种琐碎细节暴露于社交媒体,而对社交媒体上杂乱无章的海量用户数据进行有序的分类和分析也没有什么不妥。
  当然,如果社交媒体平台随意滥用或泄露用户的后台数据,比如个人联系方式、家庭住址、银行等极为隐秘的信息,这的确是赤裸的侵犯隐私的行为,极其没有道德,必须要受到谴责和法律制裁。
  2014年大数据亮点频现但情况不容乐观
  亮点一:传统行业热烈拥抱大数据
  亮点二:大数据催热一体机等细分市场高速增长
  硬件和软件的融合,以及与特定应用更为紧密的集成成为数据中心的一个主要趋势。这一趋势又会进一步受到客户愿望的推动,将更具有可管理性、高效、灵活和成本效率高的一体机等产品需求明显增加。
  问题一:全国在建大数据园区突破100家,数据共享率严重不足
  如何有效挖掘、分析大数据,是高效解决城市运营问题的关键。在实际智慧城市建设的基本操作层面,必须要十分强调数据的共享共用。当前,由于受多种利益驱动等因素的影响,数据共享共用的瓶颈制约在很大程度上尚未真正突破。
  问题二:部分行业Hadoop项目面临失败的危险
  部署大数据是要有成本的,购买软件许可的费用、实施费用和因为大数据而添置的硬件费用等都不是一个小数目,起步成本是比较高的。大数据的收益是逐渐体现的,更重要的是,用户经验的积累也需要时间,对初期的困难准备不足或者遇到困难就退缩,必然导致大数据项目的失败。
  消除数据孤岛是企业布局大数据的第一步
大数据
  物理孤岛:数据物理上的孤立,各自存储,各自维护。这样就会出现重复造轮和资源浪费。每个事业部都需要维护一套存储系统,各个事业部申请的机器资源都是富足的,每个事业部都各自配备一个专门的负责人。每个事业部都把数据采集、存储这个活当成是一个累赘、苦活、脏活,因为他们的kpi不在这边。当需要进行跨业务的数据合作时,往往要进行大量的数据迁移、拷贝,大部分的人力资源都耗费在数据准备阶段。
  逻辑孤岛:数据逻辑上的孤立,每个事业部都有自己的数据规范,站在各自角度对数据的理解和定义,往往会出现相同的业务id、用户id有不同的定义。当需要进行跨业务的数据合作时,往往会发现沟通成本极高。
  消除物理孤岛:统一采集、集中存储、开放计算。
  消除逻辑孤岛:制定数据规范、定义数据标准、建设维护元数据。
  让数据:易采集、易存储、易理解、易处理、有价值!
  传统IT巨头如何奔赴大数据战场?
大数据
  互联网新贵们本身拥有非常多的大众化数据,可以说是天生的大数据企业。对于大数据的浪潮,它们走“大众路线”具有天然的优势。在大数据平台的研究前景方面,互联网厂商走的比较快和远。通过提供一个通用大数据平台,聚合合作伙伴,一起为消费者服务,而不是一个一个客户的做定制方案。
  互联网公司的优势在于标准化的大众服务,通常对于需要定制的行业用户(非IT行业)的积累底蕴要差很多,互联网的大数据通常是以通过大数据为自己产生价值为主,他们首先是大数据用户,然后才会考虑去输出大数据的价值。
  正因为拥有大量数据,互联网公司的“大脑”计划进行得如火如荼,谷歌大脑、百度大脑等,都是希望通过AI这个层面加强大数据平台的核心竞争力,提升更多的业务价值。阿里巴巴和腾讯也在做类似的事情,通过深度的大数据分析和机器学习,来提升数据对企业自身的价值,相对而言进展稍慢而已。
  大数据深度学习的必要性及误区
大数据
  深度学习与大数据
  深度学习其实它不是一个新事情,在30年前80年代末的时候,深度学习就已经是得到了广泛关注,而到了大数据时代的今天,它获得了更多的成功和影响力。为什么呢?
  第一方面,深度学习模拟了大脑的行为。一开始做深度学习这帮人,他们的想法受到卷积神经系统网络的影响,在80年代受到了神经科学家对于视觉神经系统理解的影响;
  第二,从统计和计算的角度来看,深度学习特别适合大数据;
  第三,深度学习是End-to-end学习;
  第四,深度学习提供一套建模语言。
  大数据时代传统深度学习的误区
  在统计上面分析机器学习系统效果时,一个最根本的角度叫推广误差,推广误差可以帮助我们找到误差来源,从而设计出更好的算法。一个经典的分解方法,把推广误差分解成三部分:Approximation error:数学模型不完美导致的误差;Estimation error:数据不完美,比如数据有限或数据有偏,导致的误差;Optimization error:算法不完美导致的误差。
  智能设备面临的四大数据问题
大数据
  问题一:功能过于单一,没人会穿戴50种设备
  一种设备能把一件事真正做好就已经成功了。但是在未来智能设备爆发的情况下,衡量睡眠、进食速度或膝关节健康的设备都要分开穿戴的话,显然不太现实。
  问题二:获得传感器数据不是目的
  就拿上文提到的阳光强度感应器来说。你真的需要一个腕带来感知当下的阳光强度吗?是不是可以使用智能手机来查询目前的光照强度,以确定是否应该出门。而不是出门后使用某种智能设备定期测量光照水平。前者的预判才是真正的智能,读取传感器数据谈不上什么智能设备,只是手段而已。
  问题三:数据无法共享
  人们不愿意从苹果切换到Android的最大原因就是操作的熟悉度和iTunes中的数据。同样地,在物联网的世界,数据的排他性阻止了用户在不同的设备之间切换。这也是为什么每个智能设备提供商都试图成为我们健康、家庭或财务的中心节点。
  问题四:数据挖掘并不易
  如果数据不能改变你的行为,那搜集起来还有什么用呢?
  智能终端、物联网和互联网大数据就是支撑这一市场的桩脚,忽略任何一环都无法支撑起一个有效的市场。目前智能终端和物联网无论从技术上还是实际应用上都日趋成熟,但是在智能化背后起核心作用的大数据却被有意无意的忽略。
  你,还期待大数据的未来吗?
大数据
  炒作和现实,不可混为一谈
  我们希望从大数据中获取价值的方法越简单越好,比如导入数据,运行程序,最后得出富有远见的结论。你觉得这可能吗?如果智慧那么容易获得,那人人都可以是乔布斯了。
  一些基于数据的决策的确是这样。数据不是“冰冷的数字”,它们是“多愁善感的精灵”,正如布鲁斯·斯普林斯汀在一首歌中唱道,它们需要“一点点的人情味”。人们可以通过开发良好的指标和强大的算法来挖掘数据。但这远远不够,人们必须通过自己的认识和见解才能真正地了解数据的“内心世界”,才能充分利用数据背后的价值。有的数据很“直白”,有的却很“委婉”,我们不能一概而论。
  算法的局限性
  进一步说,我们更希望大数据可以让企业用户直接即时地访问数据,这样他们就可以随时随地、有如神助般的做出每一个最佳决策。愿望是美好的,只不过以我们当前的技术条件来看,我们还达不到这么复杂神奇的水平。
  无论多么复杂的算法,也无法做到全盘考虑,对于难以衡量的特定因素更加束手无策。如果某个算法可以全部做到这些,那就无异于人类的大脑,届时麻烦可能更大了。
  我需要一个优秀的“中场手”
  棒球比赛可以帮助我们更好地理解算法的局限性--水平相当的两个选手,他们的表现可以相去甚远。
  纯数据分析的追随者会告诉你一切都可以量化,也许他们说的没错。但是我也的确看到过很多水平相当的选手,在几乎相同的条件下,他们的表现是有差距的,尽管从数据分析上来看他们的表现应该很接近。
  差之毫厘谬之千里
  任何一个负责任的医生都会严谨地告诉你,即使两个病人的症状非常相似,采取的治疗手段也不会相同。
  魔鬼与上帝之战:大数据时代的财富之争
大数据
  大数据制造大财富
  1、数据科学家
  2、大数据技术创业公司
  3、数据服务提供商
  4、集纳依托大数据的科技企业
  典型造富案例--
  2014年12月,淘宝公布的《2014年淘宝联动知识产权局打假报告》显示,阿里巴巴通过大量数据分析追查打击假货源,2010年至今已处理各类专利侵权投诉案件3000余件。
  隐私的财富之战
  1、精准营销VS个人隐私
  2、诱导消费VS剥夺隐私
  3、数据联网VS个人征信
  4、信息盗窃VS个人安全
  典型泄密案例--
  2014年7月,苹果公司首次承认,可以利用“未公开过的技术”,通过IOS后台服务获取联入网络的手机用户短信、照片等信息资料。苹果旗下手机、电脑以及相关系统和应用中所存在的,可以用来窃取用户隐私的“后门”。
分享按钮

近期文章

站内热点

友荐云推荐