崗位描述:
1.負(fù)責(zé)Hadoop/Spark/Flink等分布式計(jì)算平臺(tái)的搭建、優(yōu)化及運(yùn)維,設(shè)計(jì)并開發(fā)數(shù)據(jù)采集、清洗、轉(zhuǎn)換、存儲(chǔ)的全鏈路ETL流程。
2.根據(jù)業(yè)務(wù)需求構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)(OLAP)、數(shù)據(jù)湖(Data Lake)或?qū)崟r(shí)數(shù)倉(cāng)(如Hive/ClickHouse/Doris),設(shè)計(jì)高效數(shù)據(jù)模型,開發(fā)數(shù)據(jù)分析模型(如用戶畫像、推薦算法),支持業(yè)務(wù)決策與AI應(yīng)用。
3.優(yōu)化SQL查詢性能(如索引設(shè)計(jì)、分區(qū)裁剪、參數(shù)調(diào)優(yōu)),解決數(shù)據(jù)傾斜、任務(wù)堆積等復(fù)雜問(wèn)題,分析慢查詢?nèi)罩?、資源監(jiān)控?cái)?shù)據(jù),提升集群資源利用率。
4.封裝數(shù)據(jù)接口,提供數(shù)據(jù)查詢、分析結(jié)果可視化服務(wù),開發(fā)內(nèi)部數(shù)據(jù)工具鏈。
5. 研究并落地新技術(shù)(如湖倉(cāng)一體、流批一體、數(shù)據(jù)網(wǎng)格Data Mesh),推動(dòng)數(shù)據(jù)架構(gòu)升級(jí),探索AI驅(qū)動(dòng)的數(shù)據(jù)治理(如自動(dòng)化血緣分析、異常檢測(cè))。
6.領(lǐng)導(dǎo)交辦的其他事宜。
崗位要求:
1.本科及以上學(xué)歷,計(jì)算機(jī)、數(shù)學(xué)、統(tǒng)計(jì)學(xué)等相關(guān)專業(yè)。3年大數(shù)據(jù)開發(fā)經(jīng)驗(yàn),重點(diǎn)參與過(guò)數(shù)據(jù)平臺(tái)或數(shù)倉(cāng)項(xiàng)目。
2.精通Hadoop(HDFS/YARN)、Spark(SQL/Structured Streaming)、Flink實(shí)時(shí)計(jì)算,熟悉Kafka/RocketMQ消息隊(duì)列、Hive/HBase/ClickHouse數(shù)據(jù)存儲(chǔ)。
3.熟練使用SQL/Python/Java/Scala開發(fā),掌握Flink SQL、Spark SQL高級(jí)特性,熟悉數(shù)據(jù)建模工具、ETL工具。
4.熟悉數(shù)據(jù)血緣、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量監(jiān)控。
5.熟悉實(shí)時(shí)數(shù)倉(cāng)架構(gòu)(如Kafka+ Flink + ClickHouse),有流批一體項(xiàng)目經(jīng)驗(yàn)者優(yōu)先,具備數(shù)據(jù)可視化工具開發(fā)經(jīng)驗(yàn)者優(yōu)先。
福利待遇:五險(xiǎn)一金,體檢,帶薪年假,雙休,通信補(bǔ)貼,餐補(bǔ),交通補(bǔ)貼,節(jié)日福利等