職位描述
崗位職責:
1、聯(lián)動產(chǎn)品、研發(fā)團隊,對SFT、RL階段的模型結果評測,定義評估標準、優(yōu)化評測流程并產(chǎn)出提升模型能力的數(shù)據(jù)分析報告,同時結合用戶行為與相關數(shù)據(jù)分析,協(xié)助產(chǎn)品研發(fā)提升模型能力和產(chǎn)品體驗;
2、根據(jù)業(yè)務目標參與評測方案制定、建設評估數(shù)據(jù)集,并能夠站在用戶視角和模型視角構建理想態(tài),通過人工或自動評估對模型回復效果進行評測,并自主完成問題拆解和分析,驅(qū)動產(chǎn)品研發(fā)進行策略優(yōu)化;
3、可以通過撰寫簡單PE或搭建Workflow的方法進行輔評來提升團隊整體評測效率和準確性;
4、主導評測工作的開展,充分協(xié)調(diào)整合各方資源,保障內(nèi)外部高效協(xié)作、順暢溝通。
任職要求:
1、本科及以上學歷,具備扎實的中文專業(yè)背景,對AI領域有強烈興趣與探索意愿,具備快速學習能力與跨學科思維,具有良好的抗壓能力,有1年以上大模型評測相關經(jīng)驗,有搜索大模型評測經(jīng)驗者優(yōu)先;
2、在較多垂直領域有很好的涉獵,能夠剖析專業(yè)、行業(yè)領域問題,輸出自己的見解;有較好的搜索習慣,或大模型產(chǎn)品使用習慣,善于站在用戶視角反饋體驗問題,善于結合多角度拆解問題,有產(chǎn)品分析經(jīng)驗優(yōu)先;
3、具備從業(yè)務目標精準拆解標注需求的能力,并擁有以數(shù)據(jù)為依托的文本分析能力與敏銳的用戶洞察力;
4、具備優(yōu)秀的跨團隊協(xié)同溝通能力、自驅(qū)力與創(chuàng)新意識,并能主動追蹤AI技術發(fā)展動態(tài)。