崗位職責(zé):
- 基于Hadoop、Spark、Hive等框架進(jìn)行數(shù)據(jù)處理方案設(shè)計與實(shí)現(xiàn),熟悉大數(shù)據(jù)平臺的維護(hù);
- 負(fù)責(zé)ETL流程的設(shè)計、開發(fā)與調(diào)度管理,使用海豚調(diào)度等工具保障數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、加載的高效執(zhí)行;
- 運(yùn)用SQL、Python等編程語言,開展數(shù)據(jù)建模、數(shù)據(jù)清洗、轉(zhuǎn)換及匯聚工作,為業(yè)務(wù)提供高質(zhì)量數(shù)據(jù)支持;
- 參與關(guān)系型數(shù)據(jù)庫(如MySQL、PG)的設(shè)計、維護(hù)及數(shù)據(jù)交互,確保數(shù)據(jù)存儲與訪問的穩(wěn)定性;
- 負(fù)責(zé)數(shù)據(jù)系統(tǒng)的日常運(yùn)維,監(jiān)控數(shù)據(jù)質(zhì)量,及時處理數(shù)據(jù)異常,排查并解決數(shù)據(jù)處理過程中的各類問題;
- 與業(yè)務(wù)部門緊密溝通,精準(zhǔn)理解數(shù)據(jù)需求,將業(yè)務(wù)需求轉(zhuǎn)化為可行的數(shù)據(jù)處理方案,并推動落地。
任職要求:
1. 熟悉大數(shù)據(jù)處理框架(如Hadoop、Spark、Hive)及ETL工具(海豚調(diào)度、xxljob等);
2. 掌握SQL、Python等編程語言,具備數(shù)據(jù)建模、數(shù)據(jù)清洗、轉(zhuǎn)換、匯聚能力;
3. 熟練掌握關(guān)系型數(shù)據(jù)庫(如MySQL、PG)等;
4. 具備系統(tǒng)運(yùn)維能力,能處理數(shù)據(jù)異常,有數(shù)據(jù)質(zhì)量監(jiān)控、問題排查能力;
5.具備良好的溝通、需求理解、邏輯思維和問題解決能力,對數(shù)據(jù)敏感,有較強(qiáng)的責(zé)任心和團(tuán)隊合作精神。
6.本崗位勞動合同與第三方簽訂。