崗位職責:
1. 負責大數(shù)據(jù)平臺的數(shù)據(jù)分層設計與落地,構建規(guī)范、高效的數(shù)據(jù)倉庫模型(如ODS、DWD、DWS、ADS層),保障數(shù)據(jù)鏈路的穩(wěn)定性與數(shù)據(jù)質量。
2. 基于StarRocks等OLAP引擎進行數(shù)據(jù)建模、指標開發(fā)與優(yōu)化,支撐業(yè)務方的實時/離線數(shù)據(jù)分析、報表查詢與決策需求。
3. 參與大數(shù)據(jù)ETL/ELT流程設計與開發(fā),使用Java結合Spark、Flink等組件實現(xiàn)數(shù)據(jù)同步、計算任務,優(yōu)化任務性能,解決數(shù)據(jù)延遲、任務故障等問題。
4. 協(xié)同業(yè)務、產(chǎn)品團隊梳理數(shù)據(jù)需求,輸出數(shù)據(jù)解決方案,推動數(shù)據(jù)驅動業(yè)務增長。
5. 維護數(shù)據(jù)開發(fā)規(guī)范與文檔,沉淀數(shù)據(jù)建模、StarRocks使用、Java大數(shù)據(jù)開發(fā)等技術經(jīng)驗,提升團隊技術能力。
崗位要求:
1. 本科及以上學歷,計算機、大數(shù)據(jù)、統(tǒng)計學等相關專業(yè),5年及以上大數(shù)據(jù)開發(fā)經(jīng)驗。
2. 精通Hadoop、Spark、Flink等大數(shù)據(jù)生態(tài)組件,具備離線/實時數(shù)據(jù)開發(fā)實戰(zhàn)經(jīng)驗;熟練掌握Java開發(fā)語言,能獨立使用Java完成大數(shù)據(jù)任務編碼、調(diào)試與優(yōu)化。
3. 熟練掌握數(shù)據(jù)分層設計理念與實踐,能獨立完成從ODS到ADS層的全鏈路數(shù)據(jù)模型設計,理解維度建模、事實表/維度表設計原則。
4. 深入理解StarRocks架構原理,具備StarRocks表設計(分區(qū)、分桶、排序鍵)、SQL優(yōu)化、性能調(diào)優(yōu)經(jīng)驗,能解決復雜查詢場景下的效率問題。
5. 熟悉MySQL、Hive、HBase等數(shù)據(jù)庫,掌握SQL、Python(輔助開發(fā))等工具,具備良好的代碼規(guī)范與問題排查能力。
6. 具備較強的業(yè)務理解能力、問題分析與解決能力,有高并發(fā)、大規(guī)模數(shù)據(jù)處理場景經(jīng)驗,或使用Java開發(fā)大數(shù)據(jù)中間件/工具經(jīng)驗者優(yōu)先。
7.有半導體行業(yè)經(jīng)驗從業(yè)者優(yōu)先