工作職責(zé):
1.負責(zé)收集、清洗和標注模型微調(diào)所需的各類數(shù)據(jù),根據(jù)不同模型的特點和業(yè)務(wù)場景需求,制定合理的數(shù)據(jù)處理方案,確保數(shù)據(jù)質(zhì)量和數(shù)量滿足微調(diào)要求。
2. 依據(jù)業(yè)務(wù)選擇合適的基礎(chǔ)模型(如LLM、CV模型等),設(shè)計并執(zhí)行模型微調(diào)策略,包括參數(shù)調(diào)整、訓(xùn)練流程優(yōu)化、超參數(shù)搜索等,提升模型在特定任務(wù)上的性能指標(如準確率、召回率、困惑度等)。
3. 對微調(diào)后的模型進行全面評估與驗證,分析模型的優(yōu)缺點,針對存在的問題進行迭代優(yōu)化,確保模型的穩(wěn)定性、可靠性和有效性。
4. 負責(zé)RAG系統(tǒng)的整體架構(gòu)設(shè)計,包括檢索模塊、知識庫構(gòu)建、大模型選型,以及RAG系統(tǒng)的日常維護與監(jiān)控,及時發(fā)現(xiàn)并解決系統(tǒng)運行過程中出現(xiàn)的問題,根據(jù)業(yè)務(wù)反饋進行功能迭代和性能優(yōu)化。
5. 參與日常項目需求分析,制定技術(shù)方案并推動落地實施。
任職資格:
1、 具有良好的python代碼開發(fā)能力,對機器學(xué)習(xí)、深度學(xué)習(xí)有深入理解,有完整NLP項目開發(fā)經(jīng)驗;
2、熟悉NLP算法和技術(shù),熟悉文本清洗技術(shù)、熟練掌握pytorch或tensorflow等深度學(xué)習(xí)框架,熟悉transformers原理,了解國產(chǎn)深度學(xué)習(xí)框架,如mindspore、paddlepaddle等;
3、熟悉linux系統(tǒng),熟悉docker部署方法;
4、了解RabbitMQ/kafka,了解redis、es,了解并能使用至少一種noSQL數(shù)據(jù)庫;
5、責(zé)任心強,有較強的溝通協(xié)作能力、學(xué)習(xí)能力。
加分項:
1. 了解多模態(tài)模型原理、不限于圖像-文本
此崗位駐南方電網(wǎng)(廣州市黃埔區(qū)云升科學(xué)園)。
崗位福利:入職當月購買六險一金;帶薪年假、病假;節(jié)假日、生日禮品。
上班時間:8:30-17:30,午休一個半小時,周末雙休