如何区分数据科学家,数据工程师与数据分析师

与其他一些相关工程职位一样,数据科学家的影响力与互联网同进同退。数据工程师和数据分析师与数据科学家携手共同完成这幅“大数据时代”巨作。

三者之间的定义又是如何区分的呢?

数据科学家是什么样一个存在呢?

通常情况下,数据科学家有数学或物理方面的高等学位。有博士学位的情况并不少见,硕士学位仅是一个前提条件。数据科学家精通统计建模以及如何构建与定制高级数学算法。这既在他们专业范围内,也是他们所擅长的地方。我听到过有人这样形容一个数据科学家“软件工程技能牛过多数人的酷炫统计学家”。

我结合加工的说:所谓数据科学家,是指运用统计分析、机器学习、分布式处理等技术,从大量数据中提取出对业务有意义的信息,以易懂的形式传达给决策者,并创造出新的数据运用服务的人才。

数据工程师如何定义呢?

数据工程师一般被定义成“深刻理解统计学科的明星软件工程师”。如果你正为一个商业问题烦恼,那么你需要一个数据工程师。这些伙计就是那些能提供可建模数据所需平台的人。他们的核心价值在于他们借由清晰数据创建数据管道的能力。

数据科学家

数据工程师对演算法有相当好的理解。因此,数据工程师理应能运行基本数据模型。商业需求的高端化催生了演算高度复杂化的需求。很多时候,这些需求超过了数据工程师掌握知识范围,这个时候你就需要打电话寻求数据科学家的帮助。

数据分析师如何理解呢?

数据分析师能洞悉一个方程式的商业意义。他们知道如何提出正确的问题,非常善于数据分析,数据可视化和数据呈现。不管是给另一个数据分析师还是C级执行做演讲,数据分析师都是数据提取,模式识别以及从大量数据中洞察问题方面的能手。

如果你或者你的公司正考虑顺应这股大数据浪潮的发展,你应该从明确你想利用大数据解决所面临的商业问题处下手。接着找出你真正的需求:是数据采集,检索,仓储还是数据分析?然后编写相应的职位描述并做好准备。

从事这三者都要具备哪些技能呢?

数据科学家所需的技能如下:

计算机科学

一般来说,数据科学家大多要求具备编程、计算机科学相关的专业背景。简单来说,就是对处理大数据所必需的Hadoop、Mahout等大规模并行处理技术与机器学习相关的技能。

数学、统计、数据挖掘等

除了数学、统计方面的素养之外,还需要具备使用SPSS、SAS等主流统计分析软件的技能。其中,面向统计分析的开源编程语言及其运行环境“R”最近备受瞩目。R的强项不仅在于其包含了丰富的统计分析库,而且具备将结果进行可视化的高品质图表生成功能,并可以通过简单的命令来运行。

数据可视化(Visualization)

信息的质量很大程度上依赖于其表达方式。对数字罗列所组成的数据中所包含的意义进行分析,开发Web原型,使用外部API将图表、地图、Dashboard等其他服务统一起来,从而使分析结果可视化,这是对于数据科学家来说十分重要的技能之一。

数据工程师需具备的技能

数学及统计学相关的背景

对于大多数互联网大公司来说,对于数据工程师的要求都是希望是统计学和数学背景的硕士或博士学历,只有具备一定的理论知识,才能理解模型、复用模型甚至创新模型,来解决实际问题。

计算机编码能力

实际开发能力和大规模的数据处理能力是作为大数据工程师的一些必备要素,因为许多数据的价值来自于挖掘的过程,你必须亲自动手才能发现金子的价值。

对特定应用领域或行业的知识

数据工程师这个角色很重要的一点是,不能脱离市场,因为大数据只有和特定领域的应用结合起来才能产生价值。所以,在某个或多个垂直行业的经历能为应聘者积累对行业的认知,对于之后成为数据工程师有很大帮助,因此这也是应聘这个岗位时较有说服力的加分项。

数据分析具备的技能

懂业务

从事数据分析工作的前提就会需要懂业务,即熟悉行业知识、公司业务及流程,最好有自己独到的见解,若脱离行业认知和公司业务背景,分析的结果只会是脱了线的风筝,没有太大的使用价值。

懂管理

一方面是搭建数据分析框架的要求,比如确定分析思路就需要用到营销、管理等理论知识来指导,如果不熟悉管理理论,就很难搭建数据分析的框架,后续的数据分析也很难进行。另一方面的作用是针对数据分析结论提出有指导意义的分析建议。

懂分析

指掌握数据分析基本原理与一些有效的数据分析方法,并能灵活运用到实践工作中,以便有效的开展数据分析。基本的分析方法有:对比分析法、分组分析法、交叉分析法、结构分析法、漏斗图分析法、综合评价分析法、因素分析法、矩阵关联分析法等。高级的分析方法有:相关分析法、回归分析法、聚类分析法、判别分析法、主成分分析法、因子分析法、对应分析法、时间序列等。

懂工具

指掌握数据分析相关的常用工具。数据分析方法是理论,而数据分析工具就是实现数据分析方法理论的工具,面对越来越庞大的数据,我们不能依靠计算器进行分析,必须依靠强大的数据分析工具帮我们完成数据分析工作。

懂设计

懂设计是指运用图表有效表达数据分析师的分析观点,使分析结果一目了然。图表的设计是门大学问,如图形的选择、版式的设计、颜色的搭配等等,都需要掌握一定的设计原则。
本文转自d1net(转载)

时间: 2017-07-03

如何区分数据科学家,数据工程师与数据分析师的相关文章

数据科学家和工程师:各霸一方,一旦联手,所向披靡

我们都可以独立工作 但若联手,便所向披靡 结对编程是指特地安排两名软件工程师坐在同一台工作站前,共同进行工作. 我参与了数百场技术讲坛.公司宣讲等活动遇到的第一个问题都会是为何我会热衷于结对编程的工作形式.我的回答是:高效稳定学习好,质量更可靠,没有信息孤岛,结对让工程师真正帮到彼此.我在Pivotal公司最大的办公室有125对,也就是250名工程师从事结对编程,所以我对此非常清楚. 由于结对编程的这些优势,让我们想要在公司将其从高强度学习扩展至机器智能领域. 结对是最有效的学习方法 结对编程是

五张图区分商业分析师与数据科学家

前言 如果你对大数据了解不足,可能会惊讶地发现数据科学家和商业分析师提供不同的结果.即便这种情况发生了,你也不会是唯一的一个,因为这两种职业经常被混为一谈.今天我们将呈现六张信息图,助你拨开数据科学的迷雾. 商业分析师和数据科学家都是使用数据的专家,但他们以不同的方式使用自己的专业知识,正如目前的就业前景所佐证的--公司对商业分析师的需求远高于对数据科学家的需求. 通常情况下,商业分析师因为他们在商科.人文学科的专业背景,擅长于在各种来源的数据中挖掘信息,用以评估过去.现在和未来可能的经营业绩.

数据科学家实操之路

更多深度文章,请关注:https://yq.aliyun.com/cloud Kaggle最近进行了一项旨在评估数据科学和机器学习当前发展状况的调查. 他们收到了将近17000份答卷,并利用这些答卷做出了大量的分析.对于调查结果的分析报告,我并不感兴趣,我只是想看看这些调查结果是否对我这种想知道如何成为数据科学家的人来说是否有用. 如果你对分析过程并不感兴趣,而只想看看17000个行业专业人士的说法,那么请跳到本文的最后一节阅读结论. 否则,请继续阅读下文,看看我是如何得出结论的. 1. 导入和

美数据科学家薪资首次出现下降!历史转折点来临?

2012 年,<哈佛商业评论>发表社评,标题为"数据科学家: 21 世纪最性感的工作".但情况似乎正在起变化. 据美国猎头公司 Burtch Works 调查: 今年,初级数据科学家的薪资水平首次出现下降,至少在美国是如此. Burtch Works <数据科学家薪资调查 2017>报告显示出,这一人才市场出现了许多不同与往年的征兆.入职薪资下滑,是其中颇具里程碑意义的一项.数据行业的人才供求是否即将迎来转折点?我们一起来看. 首先要说明,该调查对数据科学家的定

跟着Twitter的数据科学家,体验窥探天机的兴奋

"Robert Chang回顾两年来的心路历程,样本量N=1." Intetix Foundation(英明泰思基金会)由从事数据科学.非营利组织和公共政策研究的中国学者发起成立,致力于通过数据科学改善人类社会和自然环境.通过联络.动员中美最顶尖的数据科学家和社会科学家,以及分布在全球的志愿者,我们创造性地践行着我们的使命:为美好生活洞见数据价值. 2015年6月17日是我在Twitter工作两周年的纪念日.回想起来,两年间,数据科学在Twitter的应用方式和范围发生了很大变化: 工

想当数据科学家?看看你有没有这5种特质

[51CTO.com快译]数据科学事业正在蓬勃发展,各行各业对技能熟练员工的需求越来越高.调查发现,出色的数据科学家拥有一些相似的特征,这让他们从人群中脱颖而出. 当今社会对数据科学家的需求缺口很大,这个技能短缺仍将持续几年.根据IBM的研究,2020在美国的所有数据的专业人员每年的职位空缺数量从36.4万增加到272万.另一项调查显示,到2020年,对数据科学家.数据开发者.数据的工程师等新岗位的需求量将有接近70万的缺口. 许多公司发现,自己寻找合格的候选人仅能满足业务的技术要求.然而,仅仅

从菜鸟成为数据科学家的 9步养成方案

由于数据科学和数据分析是个快速发展的领域,当前的合格申请者严重缺乏.这使得数据科学家对于那些有兴趣,并寻找新的职业生涯的人成为有前途的和有利可图的领域. 漫画内容: 老板:用CRS数据库数据评估一下市场吧. 员工:这个数据是不正确的. 老板:那用SIBS数据库吧. 员工:这个也是不正确的. 老板:你能均衡一下吗? 员工:当然,我还能把它们相乘 但如何能成为一个数据科学家呢? 首先,各个公司对数据科学家的定义各不相同,当前还没有统一的定义.但在一般情况下,一个数据科学家结合了软件工程师与统计学家的

数据科学家大减价:一小时只收30美元

你有没有想过雇佣一个数据科学家为你工作,也许你还认为雇佣数据科学家的成本会让你难以承受,事实上,数据科学家已经逐渐转变为经济适用型人才了. 数据科学家大减价:一小时只收30美元 Vincent Granville是一个数据科学家,一次偶然的机会,他发现一些专业数据分析人士在自由职业者网站Elance上寻求一份30美元一小时的工作,近期他在数据科学中心网站上发布的一篇博客详细描述了这一事件. 这个求职者叫Andrew Collier,他在Elance简历上称自己是数据科学家,期望自己的工资最低为2

大数据工具,在数据科学家眼中是怎样的存在?

随着大数据工具数量的增长和计算能力的飞跃,数据科学家越来越多地发现,如果他们想从自己的模型中获得最佳性能,那就必须考虑所使用的数据管道. 数据科学工具的功能通常围绕着预测建模,机器学习和数据可视化.但这些工具还应该包括后端数据管道技术,因为这有助于加快分析的速度. 更强的计算能力 数据科学家们通常喜欢把后端技术扔给工程师来处理.当你的主要关注点是提高模型的预测精度或发现一个数据集中的未知相关性时,文件系统和资源管理工具通常情况下并不十分友好. 但随着大数据工具数量的增长和计算能力的飞跃,数据科学