崗位職責:
1、負責生成式大模型(LLM)預訓練算法的訓練、優(yōu)化、精調、對齊等技術研究,涉及語言大模型、多模態(tài)大模型;
2、參與構建涵蓋模型選型、微調、部署、計算優(yōu)化、工程應用的全鏈路大模型服務框架及工具平臺體系;
3、負責大模型基于GPU的并行多機多卡訓練、高性能模型推理,推進分布式訓練中的計算和通信優(yōu)化等;
4、負責大模型前沿技術研究,通用類和垂類預訓練模型研發(fā)及效果持續(xù)優(yōu)化;
5、參與深度優(yōu)化大模型推理引擎的性能,包括提高吞吐與降低延時,推進對用戶query的處理。
崗位要求
1、本科及以上學歷,計算機相關專業(yè),2年以上NLP相關經(jīng)驗;
2、邏輯歸納能力,具備良好的Python和算法基礎;
3、熟悉Linux開發(fā)環(huán)境,掌握深度學習的常用框架Pytorch/TensorFlow/Paddle等;
4、熟悉大模型相關技術,Prompt工程、微調訓練、分布式訓練、RAG技術等;
5、優(yōu)秀的分析問題、解決問題能力和團隊合作意識;
6、具有chatGLM,llama等十億以上模型的訓練、部署推理、下游任務和調優(yōu)、稀疏量化等經(jīng)驗者優(yōu)先。