崗位職責(zé):
1、設(shè)計(jì)并實(shí)現(xiàn)VLM/VLA算法方案,以量產(chǎn)落地為導(dǎo)向,熟悉RDT、pi0等主流多模態(tài)具身大模型優(yōu)劣,改善調(diào)優(yōu);
2、研究多模態(tài)學(xué)習(xí)方法,結(jié)合視覺(jué)、觸覺(jué)、力反饋提升機(jī)器人決策能力; 包括VLM/VLA的訓(xùn)練與微調(diào),實(shí)現(xiàn)模型實(shí)際場(chǎng)景的落地需求,多模態(tài)數(shù)據(jù)集的構(gòu)建、清洗等,提升算法性能和決策質(zhì)量等。
3、深入調(diào)研具身智能領(lǐng)域相關(guān)的前沿技術(shù),跟蹤業(yè)內(nèi)大模型領(lǐng)域的最新進(jìn)展并推進(jìn)相關(guān)研究,探尋將最新技術(shù)應(yīng)用到具身智能領(lǐng)域的可能性。
任職要求:
1、計(jì)算機(jī)科學(xué)、人工智能、機(jī)器人工程或相關(guān)領(lǐng)域本科及以上學(xué)歷。
2、熟練掌握Python、C + +等編程語(yǔ)言,有使用PyTorch、TensorFlow等深度學(xué)習(xí)框架的經(jīng)驗(yàn)。
3、熟悉VLM/VLA模型的訓(xùn)練流程,了解常見(jiàn)的增量訓(xùn)練方法與微調(diào)方法。
4、熟悉主流的多模態(tài)預(yù)訓(xùn)練基座,熟悉多模態(tài)對(duì)齊等關(guān)鍵技術(shù);
5、具備深度學(xué)習(xí)、計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理的扎實(shí)理論基礎(chǔ)和實(shí)踐經(jīng)驗(yàn)。
6、具備良好的團(tuán)隊(duì)合作精神和溝通能力,能夠通過(guò)團(tuán)隊(duì)協(xié)作推進(jìn)項(xiàng)目進(jìn)展。