能力要求
1.具有豐富的數(shù)據(jù)倉庫開發(fā)項目經歷,有獨立承擔完整需求設計開發(fā)的工作經驗;
2.熟悉至少一種MPP架構數(shù)據(jù)庫,熟練掌握sql的編寫及優(yōu)化能力;
3.熟悉Doris、Seatunnel、DolphinSchedule、spark、flink等,能處理hive與spark常見報錯問題;
4.熟悉Linux常用命令,熟練掌握Linux基礎操作,掌握Java、Python等語言開發(fā)能力;
5.熟悉常見的數(shù)據(jù)治理框架,例如Datavines等;
6.具有數(shù)據(jù)標準制定經驗。
工作內容
1.負責已有數(shù)據(jù)中臺的運維和開發(fā),包括不限于完成相關組件安裝、腳本開發(fā)與優(yōu)化等;
2.ETL開發(fā),定義數(shù)據(jù)抽取、轉換、加載規(guī)則,確保數(shù)據(jù)準確加載;
3.實現(xiàn)數(shù)據(jù)產品研發(fā)工作,包括報表分析系統(tǒng)、元數(shù)據(jù)管理、數(shù)據(jù)質量管理、數(shù)據(jù)資產管理、數(shù)據(jù)服務接口等;
4.負責數(shù)據(jù)標準和數(shù)據(jù)質量工作的持續(xù)推進。
5.負責協(xié)助團隊的數(shù)據(jù)治理工作推進及匯報;