可能你想从事数据研究的人还没有很清楚数据工程师和数据科学家的区别，甚至很多人可能认为这是一回事。如果你真的这么想，那就全湿了！两种立场的分歧现在正在逐渐加大。如果不能深入了解其中的异同，未来肯定会有很多风头等着你去踩。这篇文章一定要看！
数据工程师的工作技术性很强。他们负责设计和维护数据系统架构，该架构涵盖了从基础设施分析到数据仓库.的许多概念，数据工程师需要对常用的脚本语言有深刻的理解，并通过使用和改进数据分析系统来稳步提高数据的质量和数量。他们还负责创建建模、挖掘、验证和获取数据的步骤和过程。
预计行业对熟练数据工程师的需求将快速增长。在现代世界中，企业和组织需要稳定的数据架构来获取和存储数据。当一个企业发展到应用数据科学时，它需要数据工程师。其结果是对数据工程师的迫切需求。
一些企业认为所需的数据工程技能和经验可以在项目中学习和积累。还有翁贝尔的高级主管凯文
萨福德认为，这样想通常是错误的。他补充说：“如果你不具体努力学习，你实际上可以构建数据管道、数据管理系统、数据分析，并编写所有中间代码，使数据可用、可访问和正确，并确保分析的正确性——如果你没有这些经验，你可能会认为你可以慢慢学习这些东西。我见过很多人这么想。大部分都错了，都一样。”
数据工程师vs数据科学家
数据工程师和数据科学家的技能和职责往往重叠，但这两个岗位的差异却在逐渐加大。
数据科学家专注于将大数据转化为商业智能，而数据工程师则在为数据生成构建数据架构和基础设施。科学家的工作环境和基础设施需要数据工程师来创造。
科学家更注重与基础设施的互动，而不是建设和管理基础设施。他们的职责还包括将原始数据转化为有用的、可理解的和可执行的信息。数据科学家研究大数据，而数据工程师研究数据基础和数据基础.的设施
数据基础
数据基础支持所有形式的报告和分析。数据工程师的目标是提供可靠、完整和最新的数据来支持报告和分析。一个稳定的数据基础将极大地有利于企业，使它们更有效地行动和决策。它的好处包括：
*加强组织间的沟通与合作。
*一站式购买数据
*保留记录的单一版本。
*支持企业内部信息理解的共识。
没有高效的数据基础,企业组织的安全风险将会增加，内部效率将会降低。一个弱小的数据基础可以对一个问题给出多个答案，这不足以支持智能商业决策。
大数据工程技能
数据工程师需要对数据库管理有很好的理解，包括对结构化查询语言(SQL)的深刻理解。他们需要构建基础设施、工具、框架和服务。有人认为数据工程比数据科学更倾向于软件工程和应用开发。其他有用的技能包括：
*使用Apache Hadoop、hive、MapReduce和Hbase的经验。
*机器学习(ML)是数据科学家的研究重点，但它的一些知识对于数据工程也非常重要。ML与大数据息息相关。(ML简化了大数据的处理流程，提供了处理大数据的技术，并使之合理化。)
*代码知识绝对是加分项。熟悉C/C、Java、Python、Perl、Golang或其他语言者优先。掌握Linux、UNIX、Solaris也很有帮助，因为这些都是操作系统功能和硬件的根源。
*对于数据工程师来说，ETL（数据抽取、转换和加载）经验是必须的。ETL是一个数据仓库构建过程，它从源系统中提取数据并将其存储在数据仓库.熟悉ETL工具，如Segment或Oracle Warehouse Builder和Panop
ly或Redshift等数据存储解决方案是很有用的。ETL（数据抽取、转换和加载）
计算机领域中，ETL被用于数据库和仓库构建。数据抽取、转换和加载在二十世纪七十年代开始盛行。数据抽取指的是从同构和异构数据源中提取数据。数据转换是说数据为便于存储（之后被研究和分析），被转化成合适的结构或形式。数据装载是指把数据下载并转移到数据集市、数据存储区或数据仓库的过程。
设计完善的ETL系统可以从源系统提取数据并保证数据一致性与质量标准。还能以预备演示的形式传输数据，允许开发人员开发应用程序，而终端用户则决定其价值。
传统上，ETL系统集成来自应用程序、不同供应商和计算机硬件的数据。含有原始数据的独立系统常被不同的人操作和控制。比如，工资记账系统的管理者可能会把销售和采购的数据结合起来。
数据仓库
数据仓库被用来存储、汇报和分析数据。对于现代商业智能，它的发展很重要。数据仓库集中存储一个或多个来源的集成数据，它们同时存储当前数据和历史数据，可用于开发分析报表。
没有数据仓库的话（或其更新的结构副本数据湖），大数据及任何数据科学相关的加工处理会变得非常贵或难以规模化。没有精心设计的数据仓库，分析者研究相同问题很容易得到不同结果。或在研究成品数据库（没有数据仓库的情况下）无意间导致延迟或运行中断。
成为数据工程师
大致上来说，成为数据工程师要取得信息技术或计算机科学学位证书并有其他相关培训。由于每种工作环境的要求越来越个人化，数据工程教学也更加灵活。
你的学位和专业训练很重要，但还不够。额外证书也很有价值，有用的包括：
* CCP数据工程师认证考试（Cloudera认证数据工程师证书）――提供了ETL工具和分析学的经验证明。
* 谷歌的证书――证明熟悉基础数据工程技能。
* IBM认证数据工程师（大数据）――传达的是具备大数据应用的工作经验。
辅助认证同样可行。比如MCSE（微软认证解决方案专家）包含了很多主题，对特定主题还有附加认证，包括MCSE：数据管理和分析学；MCSA(微软认证系统管理员)：商业智能报表;和MCSA：微软云平台。此外，一些数据行业活动也能够提供很棒的培训和教学资源（同时提供进入互联网的良好机会）。还有很多网络课程，能根据具体的情况提供有效培训。
编译组： 肖昂、韦振琛
相关链接：
http://www.dataversity.net/want-data-engineer/
如需转载，请后台留言，遵守转载规范
