職位描述
崗位職責:
1. 數(shù)據(jù)清洗與ETL開發(fā)
? 負責基礎數(shù)據(jù)清洗、轉換和加載(ETL)流程的開發(fā)與維護,使用工具(如Kettle、DataX)或腳本(Python/SQL)處理結構化/半結構化數(shù)據(jù)。
? 協(xié)助構建數(shù)據(jù)管道(Data Pipeline),監(jiān)控數(shù)據(jù)流程運行狀態(tài),定位并修復數(shù)據(jù)異常問題。
2. 數(shù)據(jù)倉庫基礎支持
? 參與數(shù)據(jù)倉庫的簡單建模(如星型模型)和維度表構建,支持數(shù)據(jù)分析師完成報表開發(fā)。
? 維護數(shù)據(jù)存儲(如Hive、MySQL),優(yōu)化基礎SQL查詢性能。
3. 系統(tǒng)測試與數(shù)據(jù)驗證
? 兼職數(shù)據(jù)系統(tǒng)測試,包括ETL流程驗證、數(shù)據(jù)質量檢查(如完整性、一致性)及測試報告編寫。
? 協(xié)助業(yè)務團隊驗證數(shù)據(jù)需求,確保數(shù)據(jù)輸出符合預期。
4. 技術學習與協(xié)作
? 學習大數(shù)據(jù)技術棧(如Hadoop、Spark)和AI數(shù)據(jù)預處理方法(如特征工程),探索數(shù)據(jù)與AI結合的初級應用場景。
? 配合業(yè)務團隊,將數(shù)據(jù)需求轉化為可執(zhí)行方案。
任職要求:
1. 基本要求
? 本科及以上學歷,計算機、統(tǒng)計學、數(shù)學或相關專業(yè)(應屆生或1-3年經(jīng)驗)。
? 具備SQL編寫能力,熟悉至少一種數(shù)據(jù)庫(MySQL/Oracle/Hive)。
? 掌握Python或Shell腳本編程,能獨立開發(fā)簡單ETL任務。
2. 技術能力
? 必備?:
? 了解ETL流程及工具(如Kettle、DataX)。
? 熟悉Linux操作及Git版本控制。
? 加分項?:
? 接觸過大數(shù)據(jù)組件(Hadoop/Hive/Spark)或BI工具(FineReport/Tableau)。
? 了解基礎數(shù)據(jù)建模概念(如星型模型)。
3. 軟素質與潛力
? 邏輯清晰?:能獨立完成數(shù)據(jù)需求開發(fā)與問題排查。
? 學習能力?:對數(shù)據(jù)技術和AI結合有強烈興趣,愿意深入技術細節(jié)(如數(shù)據(jù)特征工程、AI數(shù)據(jù)預處理)。
? 協(xié)作意識?:具備溝通能力和團隊精神,能承擔重復性工作并逐步提升效率。