什么是數(shù)據(jù)工程師？

數(shù)據(jù)工程師設(shè)計(jì)、構(gòu)建和優(yōu)化大規(guī)模數(shù)據(jù)收集、存儲(chǔ)、訪問和分析系統(tǒng)。它們創(chuàng)建數(shù)據(jù)科學(xué)家、以數(shù)據(jù)為中心的應(yīng)用程序和其他數(shù)據(jù)消費(fèi)者使用的數(shù)據(jù)管道。

這個(gè)IT角色需要大量的技術(shù)技能，包括SQL數(shù)據(jù)庫設(shè)計(jì)和多種編程語言的深入知識(shí)。數(shù)據(jù)工程師還需要溝通技能，以便跨部門工作，了解業(yè)務(wù)領(lǐng)導(dǎo)者希望從公司的大型數(shù)據(jù)集中獲得什么。

數(shù)據(jù)工程師通常負(fù)責(zé)構(gòu)建訪問原始數(shù)據(jù)的算法，但要做到這一點(diǎn)，他們需要了解公司或客戶的目標(biāo)，因?yàn)槭箶?shù)據(jù)策略與業(yè)務(wù)目標(biāo)相一致非常重要，尤其是在涉及大型復(fù)雜數(shù)據(jù)集和數(shù)據(jù)庫時(shí)。

數(shù)據(jù)工程師還必須知道如何優(yōu)化數(shù)據(jù)檢索，以及如何為利益相關(guān)者開發(fā)儀表板、報(bào)告和其他可視化。根據(jù)組織的不同，數(shù)據(jù)工程師也可能負(fù)責(zé)傳達(dá)數(shù)據(jù)趨勢。較大的組織通常有多個(gè)數(shù)據(jù)分析師或科學(xué)家來幫助理解數(shù)據(jù)，而較小的公司可能會(huì)依賴數(shù)據(jù)工程師來擔(dān)任這兩個(gè)角色。

數(shù)據(jù)工程師的角色

根據(jù)Dataquest，數(shù)據(jù)工程師可以扮演三個(gè)主要角色。這些措施包括：

多面手：通常為小團(tuán)隊(duì)或小公司工作的數(shù)據(jù)工程師作為公司中為數(shù)不多的“以數(shù)據(jù)為中心”的人之一，身兼數(shù)職。這些通才通常負(fù)責(zé)數(shù)據(jù)處理的每一步，從管理數(shù)據(jù)到分析數(shù)據(jù)。Dataquest表示，對(duì)于任何希望從數(shù)據(jù)科學(xué)過渡到數(shù)據(jù)工程的人來說，這都是一個(gè)很好的角色，因?yàn)樾⌒推髽I(yè)通常不需要為規(guī)模而設(shè)計(jì)。

以管道為中心：通常在中型公司中，以管道為核心的數(shù)據(jù)工程師與數(shù)據(jù)科學(xué)家一起工作，幫助利用他們收集的數(shù)據(jù)。Dataquest稱，以管道為中心的數(shù)據(jù)工程師需要“對(duì)分布式系統(tǒng)和計(jì)算機(jī)科學(xué)的深入了解”。

以數(shù)據(jù)庫為中心：在大型組織中，管理數(shù)據(jù)流是一項(xiàng)全職工作，數(shù)據(jù)工程師專注于分析數(shù)據(jù)庫。以數(shù)據(jù)庫為中心的數(shù)據(jù)工程師跨多個(gè)數(shù)據(jù)庫使用數(shù)據(jù)倉庫，并負(fù)責(zé)開發(fā)表模式。

數(shù)據(jù)工程師職位描述

數(shù)據(jù)工程師負(fù)責(zé)管理和組織數(shù)據(jù)，同時(shí)關(guān)注可能影響業(yè)務(wù)目標(biāo)的趨勢或不一致性。這是一個(gè)技術(shù)性很強(qiáng)的職位，需要編程、數(shù)學(xué)和計(jì)算機(jī)科學(xué)等領(lǐng)域的經(jīng)驗(yàn)和技能。但是，數(shù)據(jù)工程師還需要軟技能來向組織中的其他人傳達(dá)數(shù)據(jù)趨勢，并幫助企業(yè)利用其收集的數(shù)據(jù)。數(shù)據(jù)工程師最常見的職責(zé)包括：

開發(fā)、構(gòu)建、測試和維護(hù)體系結(jié)構(gòu)

使體系結(jié)構(gòu)與業(yè)務(wù)需求保持一致

數(shù)據(jù)采集

開發(fā)數(shù)據(jù)集流程

使用編程語言和工具

確定提高數(shù)據(jù)可靠性、效率和質(zhì)量的方法

對(duì)行業(yè)和商業(yè)問題進(jìn)行研究

使用大型數(shù)據(jù)集解決業(yè)務(wù)問題

部署復(fù)雜的分析程序、機(jī)器學(xué)習(xí)和統(tǒng)計(jì)方法

為預(yù)測性和規(guī)范性建模準(zhǔn)備數(shù)據(jù)

使用數(shù)據(jù)查找隱藏模式

使用數(shù)據(jù)發(fā)現(xiàn)可以自動(dòng)化的任務(wù)

基于分析向利益相關(guān)者提供更新

數(shù)據(jù)工程師vs.數(shù)據(jù)科學(xué)家

數(shù)據(jù)工程師和數(shù)據(jù)科學(xué)家經(jīng)常密切合作，但發(fā)揮著截然不同的作用。數(shù)據(jù)工程師負(fù)責(zé)開發(fā)、測試和維護(hù)數(shù)據(jù)管道和數(shù)據(jù)架構(gòu)。數(shù)據(jù)科學(xué)家利用數(shù)據(jù)科學(xué)從大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)中發(fā)現(xiàn)見解，以塑造或滿足特定的業(yè)務(wù)需求和目標(biāo)。

數(shù)據(jù)工程師vs.數(shù)據(jù)架構(gòu)師

數(shù)據(jù)工程師和數(shù)據(jù)架構(gòu)師的角色密切相關(guān)，經(jīng)常混淆。數(shù)據(jù)架構(gòu)師是將業(yè)務(wù)需求轉(zhuǎn)化為技術(shù)需求并定義數(shù)據(jù)標(biāo)準(zhǔn)和原則的高級(jí)幻想家。他們可視化并設(shè)計(jì)組織的企業(yè)數(shù)據(jù)管理框架。數(shù)據(jù)工程師與數(shù)據(jù)架構(gòu)師合作創(chuàng)建該愿景，構(gòu)建和維護(hù)數(shù)據(jù)架構(gòu)商的數(shù)據(jù)框架指定的數(shù)據(jù)系統(tǒng)。