对于很多人来讲,这几个概念经常分不清,我当初入门的时候也一样,只不过那时候没有大数据的概念,作为一个数据分析从业者,其实并不需要关注这些名字直接的本质区别,只要明白一件事,数据最终是为了决策服务大数据如何分析。
鉴于大家对此还是有些好奇,这里我大概说说我的理解,希望和各位有所交流,不足之处还望大家指正。
先看看数据分析与数据挖掘的区别:
首先要搞懂,什么是数据,什么是信息,这两者本质的区别就是数据是存在的,不用人脑,而信息是需要人脑进行处理,上面意思呢?
比如你装修完了房子,打算开始买家具,那么第一件事就是用尺子量房屋各处的长度和宽度,这些都是可以主观的看到的,客观存在的,这就是数据,而信息则不同,例如你要去买沙发,你会说,我们放5米的沙发刚好,4米的有些短,看着不大气,6米的太大了,看着不美观,那这种就属于信息,是需要人们经过大脑去判断的,属于主观,判断的依据就是数据(客观存在)。
其次,数据分析是对客观存在的已知的数据,通过各类维度的分析,得出一个结论,例如我们发现用户注册量下降:
可以从:
区域上看,某区域的注册量下降了x%
渠道方面,搜索引擎带来的注册了下降了X%
年龄来看,20岁~30岁的注册量下降了X%
等等,这样不同的业务类型去看过去一段时间发展的趋势来做结论判断。
数据挖掘则更注重洞察数据本身的关系,从而获得一些非显型的结论,这是我们从数据分析中无法得到了,例如关联分析可以知道啤酒与尿布的关系、决策树可以知道你购买的概率、聚类分析可以知道你和谁类似,等等,重在从各个维度去发现数据之间的内在联系
因此两者的目的不一样,数据分析是有明确的分析群体,就是对群体进行各个维度的拆、分、组合,来找到问题的所在,而数据发挖掘的目标群体是不确定的,需要我们更多是是从数据的内在联系上去分析,从而结合业务、用户、数据进行更多的洞察解读。
举个例子来理解一下:
比如一个分析师一直单身,想去找一个女朋友,他可以很迅速的知道这个女孩的身高、收入、学历等,但无法从这些数据中获知这个女孩是不是适合自己、她的性格如何,这时我们就需要从一些日常行为的数据进行推断,一种是主观的推断,我觉得、我估计、我认为,不可能在一起
另一种是客观+主观的推断,比如整合微博数据(可以知道微博的内容、发送行为、关注的领域等),和自己的行为进行数据挖掘,来看看数据内在的匹配度有多高,这时候,你会说,我们在一起的概率有90%,从而建立信心,开始行动.....
当然统计学上讲,100%的概率都未必发生,0%的概率都未必不发生,这只是小概率事件,不要让这个成为你脱单的绊脚石。
最后,思考的方式不同,一般来讲,数据分析是根据客观的数据进行不断的验证和假设,而数据挖掘是没有假设的,但你也要根据模型的输出给出你评判的标准。
我们经常做分析的时候,数据分析需要的思维性更强一些,更多是运用结构化、MECE的思考方式,类似程序中的IF else
分析框架(假设)+客观问题(数据分析)=结论(主观判断)
而数据挖掘大多数是大而全,多而精,数据越多模型越可能精确,变量越多,数据之间的关系越明确
什么变量都要,先从模型的意义上选变量(大而全,多而精),之后根据变量的相关系程度、替代关系、重要性等几个方面去筛选,最后全扔到模型里面,最后从模型的参数和解读的意义来判断这种方式合不合理。
以上就是我认为的三个区别,其实不论数据分析还是数据挖掘,能抓住老鼠的就是好猫,真的没必要纠结他们之前的区别,难道你给领导汇报时,第一部分是数据分析得出,第二部分是数据挖掘得出?他们只关注你分析的逻辑、呈现的方式。
下来说说我理解的大数据,常常有人问我,感觉现在的大数据分析培训和讲解,都是把之前的各类数据分析资料,前面加了了“大”,然后变成了大数据分析培训....,其实想一想这位兄弟说的真TM对。
大数据对我的感觉并不是数据量大,也不是数据复杂,这些都可以用工具和技术去处理,而是它可以做到千人千面,而且是实时判断规则
例如定向广告的推送,就是大数据,它根据你以往的浏览行为,可以准确的给你推相关的信息,基本做到了你一个人就是一个数据库,而不是一条数据。但我们所作的数据分析更多是针对群体的,而非针对每个个人。
要做到千人前面,侵犯你隐私数据是避免不了的,或多或少都有知道一些,而做到千人千面的大数据不就是要更多的了解你,引导你、杀你、留住你吗?为了达到这类手段,就要不断的去完善自家数据,甚至要购买数据来360度的让你在数据下裸奔,从而解决数据孤岛的问题
所以大数据时代也显露出了各类问题,数据的隐私、数据杀熟、数据孤岛等,这也许就是我们目前看到大数据分析更看重的是技术、手段的原因,它其实是一门纯技术,但有时候确实可能需要艺术。
文源自:小邓种草