崗位職責(zé):
1. 數(shù)據(jù)建模與設(shè)計;20%
運用維度建模/實體關(guān)系建模設(shè)計數(shù)倉邏輯與物理模型,適配業(yè)務(wù)需求
使用ER/Studio、PowerDesigner工具進(jìn)行模型可視化設(shè)計與優(yōu)化
2. 數(shù)據(jù)開發(fā)與ETL流程構(gòu)建;25%
基于Hive/Spark/Flink開發(fā)數(shù)據(jù)處理程序,優(yōu)化ETL流程
配置Informatica/Kettle工具,調(diào)度Azkaban/Oozie任務(wù),保障數(shù)據(jù)一致性
3. SQL編寫與優(yōu)化;15%
編寫復(fù)雜SQL查詢,優(yōu)化執(zhí)行計劃(索引/分區(qū)表/語句重構(gòu))
管理數(shù)據(jù)庫對象(表/視圖/存儲過程),提升數(shù)據(jù)訪問效率
4. 大數(shù)據(jù)組件應(yīng)用與維護(hù);20%
部署維護(hù)Hadoop/Hive/Spark/Flink集群,調(diào)優(yōu)參數(shù)(HDFS/Spark內(nèi)存)
監(jiān)控組件運行狀態(tài),協(xié)同運維團(tuán)隊解決故障與性能問題
5. 業(yè)務(wù)理解與協(xié)作。深入理解業(yè)務(wù)流程,與業(yè)務(wù)部門協(xié)作提供數(shù)據(jù)解決方案;10%
6. BI工具協(xié)作。適配Tableau/PowerBI數(shù)據(jù)模型,優(yōu)化BI工具數(shù)據(jù)呈現(xiàn)邏輯;10%
任職資格:
1、教育背景與職業(yè)/執(zhí)業(yè)資格:計算機相關(guān)專業(yè)本科及以上學(xué)歷;5%
2、工作經(jīng)驗及行業(yè)背景:3年以上大數(shù)據(jù)開發(fā)經(jīng)驗,主導(dǎo)過≥2個復(fù)雜ETL項目;20%
3、能力要求(專業(yè)技能/語言要求):65%
- 技術(shù)能力 精通Hive/Spark/Flink,熟練使用Informatica/Kettle/Azkaban
- 數(shù)據(jù)建模 掌握維度建模/實體關(guān)系建模方法,熟悉ER/Studio/PowerDesigner工具
- SQL與優(yōu)化 熟練編寫復(fù)雜SQL,具備索引優(yōu)化/執(zhí)行計劃分析能力
4、人才核心特質(zhì)要求(除通用標(biāo)準(zhǔn)外):10%
邏輯思維嚴(yán)謹(jǐn)、問題解決能力強、跨部門協(xié)作高效