任職要求:
核心定位:聚焦數(shù)倉(cāng)整體架構(gòu)設(shè)計(jì)、技術(shù)棧選型、生態(tài)原理落地,具備跨組件統(tǒng)籌能力,同時(shí)也負(fù)責(zé)部分代碼開(kāi)發(fā)
1.精通 Spark 生態(tài)(Core、SQL),具備 Scala開(kāi)發(fā)經(jīng)驗(yàn),能基于 Spark 進(jìn)行分布式計(jì)算架構(gòu)設(shè)計(jì)
2.熟悉 Flink 核心原理及應(yīng)用場(chǎng)景,具備 Java開(kāi)發(fā)基礎(chǔ),可主導(dǎo)流批一體架構(gòu)規(guī)劃
3.深入理解 Hadoop 生態(tài)(HDFS、YARN)底層原理,能結(jié)合業(yè)務(wù)場(chǎng)景設(shè)計(jì)分布式存儲(chǔ)與資源調(diào)度方案
4.熟悉數(shù)據(jù)湖技術(shù)選型,至少使用過(guò) Paimon)Hudi/lceberg 其中一種,能主導(dǎo)數(shù)據(jù)湖與數(shù)倉(cāng)融合架構(gòu)設(shè)計(jì)(重要)
5.熟悉 Shell 腳本,可完成基礎(chǔ)架構(gòu)自動(dòng)化運(yùn)維與組件調(diào)試
6.熟悉數(shù)據(jù)倉(cāng)庫(kù)核心理論,具備 SQL 高階應(yīng)用能力,能指導(dǎo)分層/主題建模架構(gòu)設(shè)計(jì)
7.熟悉 MPP 數(shù)據(jù)庫(kù)(Doris/ClickHouse)核心特性,能結(jié)合業(yè)務(wù)場(chǎng)景進(jìn)行 OLAP 引擎選型與性能優(yōu)化規(guī)劃
8.具備大數(shù)據(jù)生態(tài)組件(Flink、HadoopSpark、lceberg)技術(shù)評(píng)估與運(yùn)維規(guī)劃能力,可主導(dǎo)架構(gòu)性能優(yōu)化