職位描述:
1.負責大模型預訓練數(shù)據(jù)的清洗、去噪與結(jié)構(gòu)化處理,構(gòu)建高質(zhì)量語料庫,支持模型訓練需求。
2.設計并實現(xiàn)基于Python的高效數(shù)據(jù)處理Pipeline,優(yōu)化數(shù)據(jù)預處理流程,提升數(shù)據(jù)質(zhì)量。
3.擅長對接數(shù)據(jù)采集(上游)與模型訓練(下游),制定數(shù)據(jù)規(guī)范、質(zhì)量監(jiān)控及閉環(huán)優(yōu)化策略,確保數(shù)據(jù)-模型高效協(xié)同。
核心技能要求:
1.編程能力
a.熟練掌握Python語言,熟練使用正則表達式,掌握面向?qū)ο缶幊碳邦惖睦^承等,有htm1,json等數(shù)據(jù)處理經(jīng)驗。
b.熟練掌握Linux,能夠自主進行conda環(huán)境配置與依賴管理,擅長使用grep/awk/sed等命令進行文本處理。
c. 具備NLP實戰(zhàn)經(jīng)驗,熟悉中文分詞技術,掌握文本分類模型訓練流程及調(diào)優(yōu)方法,有實際項目經(jīng)驗
2.加分項
a.熟悉1xm1,BeautifulSoup等技術,有一定的爬蟲經(jīng)驗。
b.熟悉DeepSeek、通義千問等國產(chǎn)大模型的選型、量化、推理加速及 o11ama部署,具備Prompt工程和RAG優(yōu)化等垂直領域適配經(jīng)驗。
c.熟練部署并優(yōu)化開源工具,掌握容器化封裝、性能調(diào)優(yōu)及生產(chǎn)級落地能力,確保高效穩(wěn)定服務于業(yè)務場景。
d.有spark分布式和并發(fā)數(shù)據(jù)處理經(jīng)驗;
任職資格:
1.研究生及以上學歷,計算機、數(shù)據(jù)科學、人工智能相關專業(yè)。
2.3年以上數(shù)據(jù)清洗/處理經(jīng)驗,有LLM或NLP項目經(jīng)驗者優(yōu)先。
3.具備良好的數(shù)據(jù)敏感度,能獨立解決復雜數(shù)據(jù)問題。
4.強烈的責任心與團隊協(xié)作能力,適應快節(jié)奏技術迭代。