以下技術(shù)棧都在棧:Spark、Nifi、CDM、flink
主要職責:
1、負責大數(shù)據(jù)搬遷和系統(tǒng)集成。
2、利用華為云數(shù)據(jù)遷移工具搬遷數(shù)據(jù)倉庫并進行數(shù)據(jù)核對。
3、處理海量數(shù)據(jù),進行實時和批處理分析,支持業(yè)務需求。
4、負責Nifi作業(yè)的遷移和調(diào)測。
5、具備良好的SQL優(yōu)化能力;能夠完成數(shù)據(jù)比對工作,具備數(shù)據(jù)追溯并定位出問題能力。
6、參與方案調(diào)研,能夠做詳細的方案設(shè)計,負責分配、管理開發(fā)任務,技術(shù)攻關(guān),代碼評審等,需要有較豐富的大數(shù)據(jù)項目經(jīng)驗。
任職資格:
1、8年大數(shù)據(jù)開發(fā)經(jīng)驗,熟悉大數(shù)據(jù)相關(guān)技術(shù)棧。
2、精通kafka、fink、spark、hive等大數(shù)據(jù)組件,能夠獨立完成fink作業(yè)、spark作業(yè)、數(shù)據(jù)質(zhì)量作業(yè)的遷移/開發(fā),能夠端到端的進行調(diào)測。能夠配合業(yè)務用戶完成集成測試。
3、精通apache nifi開源組件,能夠獨立完成Nifi作業(yè)的遷移和調(diào)測。
4、精通掌握 Java、SQL、Scala 或 Python 等語言。
5、參與方案調(diào)研,能夠做詳細的方案設(shè)計,負責分配、管理開發(fā)任務,技術(shù)攻關(guān),代碼評審等,需要有較豐富的大數(shù)據(jù)項目經(jīng)驗
6、具備良好的SQL優(yōu)化能力,熟悉關(guān)系型數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫。
7、具備大數(shù)據(jù)平臺性能優(yōu)化的經(jīng)驗。
8、優(yōu)秀的溝通能力和書面表達能力。
9、熟悉華為大數(shù)據(jù)平臺MRS、DataArt studio、Data Lake、Gaussdb(DWS)優(yōu)先。
10、統(tǒng)招大專以上學歷。
11、熟悉華為大數(shù)據(jù)平臺MRS、DataArt studio、Data Lake、Gaussdb(DWS)優(yōu)先、具備大數(shù)據(jù)遷移工作經(jīng)驗優(yōu)先。。