崗位職責:
1、 前沿算法研究與開發(fā):
· 方向一(VLA): 研究、復(fù)現(xiàn)并創(chuàng)新基于視覺-語言-動作(VLA)模型的端到端決策控制算法。訓(xùn)練能夠?qū)⒆匀徽Z言指令、多模態(tài)感知信息直接映射為機器人動作或技能序列的大模型。
· 方向二(分層控制): 設(shè)計并實現(xiàn)機器人的分層決策與控制架構(gòu)(如:LLM+VLA+Low-level Policy的三層架構(gòu)),包括高層任務(wù)規(guī)劃、中層技能序列生成與低層閉環(huán)控制之間的接口與協(xié)調(diào)機制。
· 探索大型語言模型(LLM)或大型視覺-語言模型(LVLM)作為機器人“任務(wù)規(guī)劃大腦”的應(yīng)用,實現(xiàn)基于場景理解的零樣本(Zero-shot)或少樣本(Few-shot)任務(wù)分解與規(guī)劃。
2、 負責機器人具身操作任務(wù)的強化學(xué)習(xí)、模仿學(xué)習(xí)算法設(shè)計、開發(fā)和優(yōu)化;
3、 仿真與真實世界驗證:利用高逼真度仿真環(huán)境(如Isaac Sim, Unity, Mujoco)進行大規(guī)模算法訓(xùn)練、測試和驗證,特別是在長尾場景下的表現(xiàn);設(shè)計和實施Sim-to-Real遷移方案,解決真實世界中的不確定性等問題,確保算法的魯棒性和實用性。
4、 研究多模態(tài)學(xué)習(xí)方法,結(jié)合視覺、觸覺、力反饋提升機器人決策能力; 包括VLM的訓(xùn)練與微調(diào),實現(xiàn)模型實際場景的落地需求,多模態(tài)數(shù)據(jù)集的構(gòu)建、清洗等,提升算法性能和決策質(zhì)量等。
任職資格:
1、具備深度學(xué)習(xí)、計算機視覺和自然語言處理的扎實理論基礎(chǔ)和實踐經(jīng)驗;
2、優(yōu)秀的編程能力(Python, C++),熟練使用PyTorch或TensorFlow等深度學(xué)習(xí)框架;
3、有使用主流機器人仿真軟件(Isaac Sim, Gazebo, Mujoco等)和機器人操作系統(tǒng)(ROS/ROS2)的經(jīng)驗;
4、具備大型語言模型(LLM)或大模型應(yīng)用(如LangChain)的微調(diào)方法、增量訓(xùn)練方法或應(yīng)用開發(fā)經(jīng)驗,熟悉主流的多模態(tài)預(yù)訓(xùn)練基座,熟悉多模態(tài)對齊等關(guān)鍵技術(shù);
5、有實際機器人相關(guān)項目開發(fā)經(jīng)驗,并理解機器人系統(tǒng)的基本問題(狀態(tài)估計、運動規(guī)劃、控制等);
6、具備良好的團隊合作精神和溝通能力,能夠通過團隊協(xié)作推進項目進展。