崗位職責:
負責構(gòu)建大模型專用數(shù)據(jù)管道,負責數(shù)據(jù)采集-清洗-標注-訓(xùn)練的全鏈路追蹤體系構(gòu)建
任職要求:
碩士研究生學(xué)歷及以上,畢業(yè)于計算機、人工智能、自動化專業(yè)或相關(guān)專業(yè),從事3年以上大模型數(shù)據(jù)治理等相關(guān)工作,作為核心技術(shù)骨干深度參與過基礎(chǔ)大模型或領(lǐng)域大模型數(shù)據(jù)制備項目或數(shù)據(jù)平臺開發(fā)項目,管理過不少于10人的數(shù)據(jù)研發(fā)團隊。具備對數(shù)據(jù)“質(zhì)量閉環(huán)+全鏈路治理”的能力,組織建設(shè)過高質(zhì)量數(shù)據(jù)集,能夠判斷大模型訓(xùn)練所需數(shù)據(jù)形態(tài)、數(shù)據(jù)治理,掌握數(shù)據(jù)質(zhì)量評估與優(yōu)化技術(shù),能夠基于業(yè)務(wù)場景確定數(shù)據(jù)需求、優(yōu)化數(shù)據(jù)配比與數(shù)據(jù)規(guī)模。掌握大模型相關(guān)的數(shù)據(jù)處理技術(shù),包括數(shù)據(jù)爬取、數(shù)據(jù)清洗、數(shù)據(jù)標注及后處理、數(shù)據(jù)增廣等,并具備工程化經(jīng)驗。熟悉主流的開源預(yù)訓(xùn)練、微調(diào)數(shù)據(jù)集。熟悉大模型常用的訓(xùn)練微調(diào)方法如LoRA等、RAG構(gòu)建或基于大模型的Agent等。具有航天領(lǐng)域開發(fā)及應(yīng)用經(jīng)驗者優(yōu)先