日日噜夜夜草|一级黄色录像高清版|调教白富美加勒比久久|亚洲欧洲精品婷婷|日韩综合无码色色|日韩精品一区妖精视频|亚洲无码中文字幕hd|99亚洲思思丝袜|手机看片国产精品大胆亚洲|成人无码视频一区二区在线播放

數(shù)據(jù)開(kāi)發(fā)工程師 (Data Lake & ETL Pipeline)
職位描述:
尋找一位經(jīng)驗(yàn)豐富的數(shù)據(jù)開(kāi)發(fā)工程師，負(fù)責(zé)公司內(nèi)部數(shù)據(jù)湖的開(kāi)發(fā)與維護(hù)，基于業(yè)務(wù)需求構(gòu)建并維護(hù)數(shù)據(jù)報(bào)表和搭建ETL Pipeline。您將與數(shù)據(jù)科學(xué)家、業(yè)務(wù)分析師和其他工程師緊密合作，構(gòu)建高效、可靠的數(shù)據(jù)處理系統(tǒng)，為公司提供數(shù)據(jù)驅(qū)動(dòng)的決策支持。
工作職責(zé):
? 參與公司數(shù)據(jù)湖的開(kāi)發(fā)和維護(hù)，確保數(shù)據(jù)的高效存儲(chǔ)、處理和分析。
? 基于業(yè)務(wù)需求，設(shè)計(jì)和開(kāi)發(fā)數(shù)據(jù)報(bào)表，為業(yè)務(wù)部門提供數(shù)據(jù)洞察。
? 構(gòu)建和維護(hù)高效的ETL Pipeline，處理來(lái)自不同數(shù)據(jù)源的批量數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)。
? 優(yōu)化數(shù)據(jù)處理流程，提高數(shù)據(jù)處理的效率和穩(wěn)定性。
? 編寫(xiě)清晰、可維護(hù)的技術(shù)文檔。
技能要求:
? 精通Hive、Yarn、Spark等大數(shù)據(jù)處理框架，了解Flink者優(yōu)先。
? 熟練使用Python進(jìn)行數(shù)據(jù)處理和分析，熟練掌握Scala或Java其中一種語(yǔ)言。
? 具備ClickHouse和Vertica等數(shù)據(jù)庫(kù)的實(shí)戰(zhàn)經(jīng)驗(yàn)，能夠構(gòu)建健壯的Streaming或Batch ETL Pipeline。
? 深入了解Kafka原理，具備后端開(kāi)發(fā)經(jīng)驗(yàn)，熟悉SpringBoot等框架者優(yōu)先。
? 具備良好的溝通能力和團(tuán)隊(duì)合作精神，能夠獨(dú)立解決問(wèn)題。