我是資料工程師，但其實我每天都在通水管！

每次有人問我做什麼工作。我說資料工程師。對方通常會回：「喔，所以你是在做AI？」不是。真的不是。

資料工程師在幹嘛？

如果要用最簡單的方式形容。資料分析師是在看水。資料科學家是在研究水。而資料工程師是在修水管。而且還是全公司最大的那種水管。

我剛進公司的時候也有點幻想。以為每天會碰到很酷的東西。機器學習、人工智慧、大數據分析。

結果第一個專案是什麼？改資料格式。第二個專案？修資料格式。第三個專案？找資料格式為什麼又壞掉。

那時候我才發現。現實世界的資料跟課本完全不一樣。課本裡的資料都乾乾淨淨。公司裡的資料像垃圾場。

缺值、重複值、錯誤格式、莫名其妙的編碼問題什麼都有。有一次公司高層開會。會議開到一半突然發現報表數字怪怪的。主管直接來問我們。因為所有報表最後都會經過資料平台。

資料工程師怎麼查案？

接下來整個團隊開始查。從資料庫查。從ETL查。從API查。一路查到晚上。

最後發現是一個上游系統更新後偷偷改了欄位名稱。只改一個字。結果後面十幾張報表全部歪掉。

那天之後我學到一件事。資料工程師其實不像工程師。比較像偵探。每天都在辦案。而且犯人通常不是別人。是昨天的自己。

這個行業有個很有趣的現象。如果你工作做得很好。沒人會發現你存在。因為資料本來就該正常。但只要哪天資料掛掉。全公司都會知道你是誰。

有時候半夜收到告警通知。看到Pipeline失敗。心裡真的會瞬間醒過來。因為你知道隔天一堆部門都在等數字。

我後來發現，資料工程師其實蠻適合那種喜歡把事情整理乾淨的人。別人看到的是AI。我看到的是資料流有沒有順。別人看到的是分析結果。我看到的是這些資料到底怎麼來的。

資料工程師適合怎樣的人？

如果你很享受把混亂的東西整理成有秩序的樣子那這份工作其實會讓你很有成就感。但如果你期待每天都在訓練AI模型。那可能要先有心理準備。

因為很多時候。我一天最大的成就。就是成功把某條快壞掉的資料管線救回來而已。