任職要求:
1、本科及以上學(xué)歷,研究生優(yōu)先,計(jì)算機(jī)、軟件、電子、人工智能、通信及相關(guān)專業(yè),5年以上相關(guān)工作經(jīng)驗(yàn)。
2、熟練使用工具如Apache NiFi、DataX、Airflow,能設(shè)計(jì)高效的數(shù)據(jù)抽取、清洗、轉(zhuǎn)換流程;理解CDC(變更數(shù)據(jù)捕獲)、日志解析等實(shí)時同步技術(shù)。
3、掌握元數(shù)據(jù)管理(如Apache Atlas)、數(shù)據(jù)血源追蹤、數(shù)據(jù)標(biāo)準(zhǔn)化方法;熟悉數(shù)據(jù)質(zhì)量監(jiān)控工具(Great Expectations)和主數(shù)據(jù)管理(MDM)。
4、精通維度建模(星型/雪花模型)、數(shù)據(jù)分層(ODS/DWD/DWS等;了解Data Vault 2.0等新型建模方法。
5、對AI與數(shù)據(jù)融合有工作經(jīng)驗(yàn)優(yōu)先,如MLflow管理機(jī)器學(xué)習(xí)模型,或利用LLM(大語言模型)增強(qiáng)數(shù)據(jù)目錄。
6、對實(shí)時數(shù)倉如ClickHouse、Doris等OLAP引擎的深度應(yīng)用有工作經(jīng)驗(yàn)優(yōu)先。
崗位職責(zé):
1、負(fù)責(zé)數(shù)據(jù)中臺產(chǎn)品的演進(jìn)規(guī)劃與研發(fā)團(tuán)隊(duì)管理。
2、負(fù)責(zé)數(shù)據(jù)中臺產(chǎn)品核心技術(shù)路線的制定和執(zhí)行。
3、負(fù)責(zé)與數(shù)據(jù)治理實(shí)施團(tuán)隊(duì)的溝通、技術(shù)應(yīng)用指導(dǎo)。