大模型算法工程師同時(shí)有VLM&LLM兩個(gè)大模型方向
VLM崗位職責(zé):
1.基于業(yè)務(wù)場(chǎng)景(行為識(shí)別)對(duì)InternVL、QwenVL等VLM模型進(jìn)行領(lǐng)域適配性微調(diào),優(yōu)化圖像理解、動(dòng)作識(shí)別、多模態(tài)推理能力;
2.構(gòu)建零售場(chǎng)景專屬數(shù)據(jù)集,設(shè)計(jì)數(shù)據(jù)增強(qiáng)策略,解決遮擋、光照變化等實(shí)際場(chǎng)景挑戰(zhàn);
3.實(shí)現(xiàn)CV&VLM模型在邊緣設(shè)備(如Jetson系列)/云端的輕量化部署,優(yōu)化推理速度與資源占用;
4.開發(fā)模型服務(wù)化接口,支持實(shí)時(shí)視頻流分析與行為事件觸發(fā)機(jī)制;
5.設(shè)計(jì)時(shí)序行為分析框架,融合目標(biāo)檢測(cè)(如定位、姿態(tài)估計(jì)、動(dòng)作分類等多模塊協(xié)同工作;
6.構(gòu)建基于VLM的異常行為識(shí)別系統(tǒng)(違規(guī)操作等場(chǎng)景);
7.跟進(jìn)VLM前沿技術(shù)(如多模態(tài)prompt工程、模型蒸餾),探索3D視覺與VLM的融合方案;
8.輸出可復(fù)用的算法組件庫,建立零售場(chǎng)景算法基準(zhǔn)測(cè)試體系;
崗位要求:
1.熟練掌握PyTorch框架及HuggingFace生態(tài),具有InternVL/QwenVL等開源VLM實(shí)戰(zhàn)調(diào)優(yōu)經(jīng)驗(yàn);
2.精通模型壓縮技術(shù)(量化/剪枝/知識(shí)蒸餾),有VLLM/LMdeploy等部署工具實(shí)戰(zhàn)經(jīng)驗(yàn);
3.熟悉視頻理解技術(shù)棧(OpenCV/FFmpeg/Decord),具備多線程視頻處理系統(tǒng)開發(fā)能力;
4.具備強(qiáng)工程實(shí)現(xiàn)能力,主導(dǎo)過至少1個(gè)完整AI項(xiàng)目從研發(fā)到落地的全生命周期;
5.理解行為場(chǎng)景特性:能通過算法設(shè)計(jì)應(yīng)對(duì)監(jiān)控視角差異、制服相似度、復(fù)雜背景干擾等挑戰(zhàn);
6.有行為識(shí)別項(xiàng)目經(jīng)驗(yàn)者優(yōu)先,熟悉NTU RGB+D、AVA等行為數(shù)據(jù)集者加分;
7.具備產(chǎn)品化思維,能協(xié)同硬件團(tuán)隊(duì)優(yōu)化計(jì)算資源分配方案;
8.具有技術(shù)文檔撰寫習(xí)慣,代碼符合工業(yè)級(jí)可維護(hù)性標(biāo)準(zhǔn);
9.在CVPR/ICCV/ECCV等會(huì)議發(fā)表過多模態(tài)學(xué)習(xí)相關(guān)論文;
10.有成功通過模型微調(diào)提升特定場(chǎng)景指標(biāo)30%以上案例;
11.具備模型服務(wù)高并發(fā)處理經(jīng)驗(yàn);
LLM大模型崗位職責(zé):
1.負(fù)責(zé)中焙智能引導(dǎo)助手及門店經(jīng)營(yíng)分析Agent實(shí)現(xiàn),支持業(yè)務(wù)目標(biāo)提升;
2.負(fù)責(zé)LLM在智能對(duì)話和內(nèi)容生成場(chǎng)景中的應(yīng)用,提升KA商家經(jīng)營(yíng)效率
3.負(fù)責(zé)LLM的微調(diào)SFT、偏好對(duì)齊、知識(shí)增強(qiáng)RAG等技術(shù)探索,積極跟進(jìn)AIGC業(yè)內(nèi)應(yīng)用趨勢(shì),包括并不限于MoE、RLHF、Long context+上下文工程、自主規(guī)劃Agent等方向;
4.與其他團(tuán)隊(duì)密切合作,包括數(shù)據(jù)工程師、前后端工程師、產(chǎn)品經(jīng)理等,實(shí)現(xiàn)高質(zhì)量的產(chǎn)品和解決方案。
崗位要求:
1.碩士及以上學(xué)歷,計(jì)算機(jī)科學(xué)、人工智能、自然語言處理或相關(guān)專業(yè);
2.扎實(shí)的算法基礎(chǔ),熟悉自然語言處理相關(guān)理論,熟悉Transformer/BERT/GPT等基礎(chǔ)模型結(jié)構(gòu),熟悉大模型的微調(diào)和評(píng)估方法;
3.熟練掌握至少一種深度學(xué)習(xí)框架,如PyTorch、TensorFlow等;
4.善于分析和發(fā)現(xiàn)問題,具備較強(qiáng)的自驅(qū)力,具有良好的溝通能力和跨團(tuán)隊(duì)協(xié)作能力,熱衷于追求技術(shù)創(chuàng)新,對(duì)解決有挑戰(zhàn)性的問題充滿激情。