崗位職責:
(1)負責NLP通用大語言模型(智慧應急與安全生產(chǎn)領域)的設計、開發(fā)和優(yōu)化,包括但不限于預訓練、SFT、指令微調、RLHF、Prompt工程、模型評估、模型推理等。優(yōu)化和改進現(xiàn)有的算法和模型,以提高效果和性能,包括模型的準確度、速度和內存占用等方面。
(2)收集和整理相關的語料庫和數(shù)據(jù)集,用于訓練和評估模型的性能。進行實驗和評估,驗證和改進算法和模型的效果。
(3)主導分布式訓練系統(tǒng)的設計與實現(xiàn),完成NLP算法在大規(guī)模多模態(tài)數(shù)據(jù)集上的訓練與優(yōu)化,推動算法高效落地。
(4)跟蹤大語言模型相關領域的前沿動態(tài)研究和探索,并與智能交互應用場景相結合,參與制定系列算法/大模型解決方案。
任職要求:
(1)計算機、自動化、數(shù)學等相關專業(yè),碩士或以上學歷。
(2)具備扎實的分布式訓練工程經(jīng)驗,熟悉分布式深度學習框架(如PyTorch Distributed、Horovod、TensorFlow TPU)及大規(guī)模模型訓練優(yōu)化策略。
(3)具備NLP算法開發(fā)經(jīng)驗,熟悉主流NLP技術(如Transformer、BERT、LLM)及多模態(tài)融合方法,有分布式訓練實踐者優(yōu)先。
(4)熟悉數(shù)據(jù)增強與清洗策略,有大規(guī)模多模態(tài)數(shù)據(jù)(圖文對、視頻-文本、語言指令)處理及訓練經(jīng)驗者優(yōu)先。