在 COVID-19 大流行开始后短暂低迷之后，对技术专业人员的需求一直在上升。而在整个行业中可以填补空缺的一项技术工作是数据工程师。负责创建消费、处理和存储大量信息所需的基础设施的数据工程师不仅看到了职位空缺的增加，而且帮助他们完成工作的工具也在增加。
当前的数据工程就业市场
数据工程提供商 Dattell 于 2022 年 6 月 29 日发布的一份报告着眼于该职业的当前市场。为了汇总调查结果，Dattell 本身收集并分析了大量数据，将特定技术与职位空缺数量相匹配。
Dattell 着眼于数据工程师的就业市场，分析了 340,000 个不同的职位。其中，数据编排岗位占35%，数据存储岗位占30%，数据可视化岗位占29%，数据处理岗位占6%。
此外，Dattell 分析了数据工程师使用的语言。Python 是最受欢迎的，38% 的时间被雇主首选，其次是 Java，占 33%，SQL 占 22%。这三者加起来提供了 550,000 个职位空缺。
参见：招聘工具包：数据库工程师（TechRepublic Premium）
此外，数据工程工作的薪酬从起薪 60,000 美元到更高级职位的高达 180,000 美元不等。与 Kubernetes、Elasticsearch、PostgreSQL 和 Terraform 合作的人获得的薪酬最高，薪水达到 140,000 美元或更高。虽然对于使用 Tableau 和 Power BI 的人来说有大量的职位空缺，但他们中的大多数提供不到 100,000 美元。
数据工程技术趋势
在其研究中，Dattell 编制了一份最流行的 20 种数据工程技术列表，其中包括 Microsoft Power BI、Terraform、Chef、Spark、Elasticsearch、Hadoop 和 Kafka 等工具。引用的产品在数据存储、数据编排、数据处理和数据可视化等领域提供支持，这表明没有任何一个数据工程部分能主导其余部分。
根据 Dattell 的研究，最流行的五种数据工程工具是 MongoDB、Tableau、Kubernetes、PostgreSQL 和 Ansible，涵盖了数据存储、数据编排和数据可视化技术。
在这些工具本身中，Tableau和Kubernetes占据了职位空缺数量最多的位置。其他产生大量开放作业的工具包括 Ansible、Hadoop、Terraform、Splunk、Power BI、MongoDB 和 PostgreSQL。
在所检查的数据编排工具中，Kubernetes 是迄今为止的领导者，其次是Ansible。虽然这两种产品属于同一个空间，但每种产品的用途都不同。Kubernetes 让专业人员管理和维护容器健康，而 Ansible 允许他们部署配置更改和管理更新。
免费和开源工具的日益普及
Dattell 表示，有这么多免费产品可供使用，雇主认为没有必要为数据处理工具付费。因此，公司正在寻找具有免费和开源技术专业知识的员工和顾问，例如 Apache Spark 和 Apache Kafka 等领先工具。
例如，对于数据存储技术，59% 的雇主更喜欢付费工具，而仍然有 39% 的雇主更喜欢免费工具。在 Dattell 分析的最流行的数据存储技术中，MongoDB是最受欢迎的，其次是PostgreSQL，两者都是免费的。某些产品（例如 Elasticsearch）提供付费和免费版本。
文章来源：https://www.techrepublic.com/article/most-popular-technologies-for-data-engineers/
