任職資格:
1.計算機、統(tǒng)計學(xué)等相關(guān)專業(yè),國家統(tǒng)招本科及以上學(xué)歷;
2.熟悉Linux操作系統(tǒng)、關(guān)系型和非關(guān)系型數(shù)據(jù)庫管理系統(tǒng),熟練掌握Python、JavaScrip編程語言,具備扎實的數(shù)據(jù)結(jié)構(gòu)與算法基礎(chǔ);
3.熟悉主流爬蟲框架,熟練掌握ADSL 撥號代理、正則表達(dá)式、加解密處理、圖像識別破解等多種爬蟲技術(shù);
4.熟悉主流反爬蟲技術(shù)機制及其突破方案,對各類反爬手段(如賬號/IP封禁機制、各類驗證碼、JS混淆加密、滑塊驗證、數(shù)據(jù)混淆等)有實際解決經(jīng)驗。
崗位職責(zé):
1.負(fù)責(zé)網(wǎng)頁及APP接口數(shù)據(jù)采集技術(shù)研發(fā),深入發(fā)掘各類網(wǎng)頁及APP接口特性與規(guī)律,研發(fā)高效、穩(wěn)定的數(shù)據(jù)采集技術(shù)方案;
2.負(fù)責(zé)爬蟲抓取策略及防屏蔽規(guī)則的設(shè)計與優(yōu)化,構(gòu)建反爬對抗組件庫,提升數(shù)據(jù)采集的效率、成功率和數(shù)據(jù)質(zhì)量;
3.參與數(shù)據(jù)層建設(shè),專注于特定垂直領(lǐng)域的數(shù)據(jù)爬取工作,進(jìn)行多平臺信息的抓取、整合與分析;
4.負(fù)責(zé)智能采集系統(tǒng)的設(shè)計與開發(fā),包括但不限于采集任務(wù)調(diào)度管理、頁面智能解析與結(jié)構(gòu)化信息抽取、海量數(shù)據(jù)的存儲與高效讀取等核心模塊。
注:本崗位為子公司招聘,一經(jīng)錄用,將與安徽省建院數(shù)智科技有限公司簽訂勞動合同。