招聘職位:高級數(shù)據(jù)倉庫開發(fā)工程師
我們正在尋找一位經(jīng)驗豐富、穩(wěn)定的數(shù)據(jù)倉庫工程師,專注于財產(chǎn)險業(yè)務(wù)領(lǐng)域。負(fù)責(zé)構(gòu)建和維護公司核心的、基于關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)倉庫平臺。該平臺不涉及大數(shù)據(jù)生態(tài),核心是基于Gbase/Postgresql數(shù)據(jù)庫的分層建模與ETL流程開發(fā)。
崗位職責(zé):  
1.數(shù)據(jù)倉庫開發(fā)與維護:負(fù)責(zé)財產(chǎn)險數(shù)據(jù)倉庫的日常開發(fā)、維護與優(yōu)化,確保數(shù)據(jù)的準(zhǔn)確性、完整性和及時性。  
2.ETL流程設(shè)計:使用Python/Shell腳本,設(shè)計和開發(fā)從業(yè)務(wù)數(shù)倉到Gbase/Postgresql的增量及全量數(shù)據(jù)同步與落地流程。  
3.數(shù)據(jù)分層加工:按照ODS、DWD、DWS、ADS等傳統(tǒng)數(shù)據(jù)分層理論,按照業(yè)務(wù)口徑進行數(shù)據(jù)清洗、轉(zhuǎn)換、整合和匯總加工。  
4.腳本與存儲過程開發(fā):編寫和優(yōu)化Shell調(diào)度腳本、Python數(shù)據(jù)處理腳本以及數(shù)據(jù)庫存儲過程,完成復(fù)雜的數(shù)據(jù)加工邏輯。  
5.數(shù)據(jù)流轉(zhuǎn)操作:負(fù)責(zé)數(shù)據(jù)的卸數(shù)、裝載、傳輸?shù)染唧w操作,并確保整個流程的高效與穩(wěn)定。  
6.性能優(yōu)化:對數(shù)據(jù)庫SQL、存儲過程及ETL任務(wù)進行監(jiān)控與性能調(diào)優(yōu),解決生產(chǎn)環(huán)境中出現(xiàn)的數(shù)據(jù)問題。  
7.技術(shù)文檔編寫:撰寫詳細(xì)的技術(shù)設(shè)計、流程說明及運維文檔。
任職要求:  
學(xué)歷與經(jīng)驗:計算機相關(guān)專業(yè)本科及以上學(xué)歷,學(xué)信網(wǎng)可查,具備5年及以上關(guān)系型數(shù)據(jù)倉庫(非大數(shù)據(jù)平臺)開發(fā)經(jīng)驗。有財產(chǎn)險、車險等金融保險行業(yè)經(jīng)驗者優(yōu)先。  
核心技術(shù):  
1.精通SQL,具備出色的SQL編寫和優(yōu)化能力,熟悉存儲過程、函數(shù)、觸發(fā)器的開發(fā)。  
2.熟練掌握Python/Shell語言,有使用Python進行數(shù)據(jù)庫連接和ETL腳本開發(fā)的實際項目經(jīng)驗。  
3.熟練編寫Shell腳本,具備使用Shell進行任務(wù)調(diào)度和流程控制的能力。  
4.熟練使用數(shù)據(jù)庫工具或第三方工具進行數(shù)據(jù)遷移,包括業(yè)務(wù)腳本遷移。  
數(shù)據(jù)庫知識:  
1.深刻理解傳統(tǒng)數(shù)據(jù)倉庫的分層建模理論(如Inmon或Kimball模型)。  
2.具備Gbase, Teradata, Greenplum, Oracle, DB2 等至少一種主流關(guān)系型MPP或企業(yè)級數(shù)據(jù)庫的開發(fā)和管理經(jīng)驗。  
3.對數(shù)據(jù)庫的卸數(shù)、裝載等批量數(shù)據(jù)處理操作有深入理解。  
優(yōu)先:  
1.了解財產(chǎn)險核心業(yè)務(wù)(如承保、理賠、再保等)及相關(guān)數(shù)據(jù)模型。  
2.具備良好的責(zé)任心、團隊協(xié)作精神和溝通能力,能夠承擔(dān)工作壓力,對數(shù)據(jù)質(zhì)量有高標(biāo)準(zhǔn)要求。  
3.對框架重構(gòu)/執(zhí)行效率有優(yōu)化經(jīng)驗。  
4.熟悉不同數(shù)據(jù)庫的語法、特性。