崗位職責(zé):
1、負(fù)責(zé)環(huán)保大數(shù)據(jù)治理平臺的安裝、部署、運維工作,保證平臺能夠穩(wěn)定的運行;
2、負(fù)責(zé)環(huán)保大數(shù)據(jù)接入、清洗、轉(zhuǎn)換、建模與分析等工作;
3、構(gòu)建元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)目錄管理等大數(shù)據(jù)治理系統(tǒng),并對數(shù)據(jù)治理開源組件進(jìn)行二次開發(fā);
4、構(gòu)建數(shù)據(jù)湖、數(shù)據(jù)倉庫、數(shù)據(jù)集市體系,建立數(shù)據(jù)分析模型,開發(fā)數(shù)據(jù)服務(wù);
5、構(gòu)建數(shù)據(jù)接入體系,將各種數(shù)據(jù)源的數(shù)據(jù)導(dǎo)入到大數(shù)據(jù)治理平臺。
6、兼職時間2-3個月。
任職要求:
1、計算機(jī)、數(shù)學(xué)相關(guān)專業(yè)大專以上學(xué)歷,1年以上基于大數(shù)據(jù)平臺的開發(fā)工作經(jīng)驗;
2、熟練掌握python,Java,scala等編程語言,有豐富的大數(shù)據(jù)應(yīng)用開發(fā)經(jīng)驗;
3、具備hadoop/hive/hbase/spark/flink/kafka/ambari/griffin/atlas等大數(shù)據(jù)組件應(yīng)用和二次開發(fā)經(jīng)驗;
4、對數(shù)據(jù)湖、數(shù)據(jù)倉庫、數(shù)據(jù)集市建設(shè)、數(shù)據(jù)治理有理解。