職位描述
Python爬蟲開發(fā)互聯(lián)網(wǎng)
1. 數(shù)據(jù)全鏈路治理
- 負責搭建從數(shù)據(jù)采集、清洗到存儲的全流程自動化系統(tǒng)，確保數(shù)據(jù)時效性、完整性及合規(guī)性。
- 設(shè)計反爬蟲對抗策略（如IP池管理、請求頻率控制、驗證碼破解等），突破目標網(wǎng)站限制。
2. 非標數(shù)據(jù)結(jié)構(gòu)化
- 針對文本、圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)，開發(fā)定制化解析算法（如正則表達式、OCR識別、深度學習模型）。
- 構(gòu)建數(shù)據(jù)標注體系，為AI模型訓(xùn)練提供高質(zhì)量標注樣本（如實體識別、情感分析、語義分類等）。
3. 數(shù)據(jù)資產(chǎn)運營
- 基于業(yè)務(wù)需求（如輿情監(jiān)測、用戶畫像、競品分析），挖掘數(shù)據(jù)價值并生成可視化報告。
- 通過A/B測試驗證數(shù)據(jù)策略效果，驅(qū)動爬蟲系統(tǒng)與算法模型的迭代優(yōu)化。
4. 技術(shù)工具研發(fā)
- 優(yōu)化分布式爬蟲框架（如Scrapy+Kafka+Spark），提升系統(tǒng)吞吐量及穩(wěn)定性。
- 開發(fā)自動化監(jiān)控與報警系統(tǒng)，實時追蹤數(shù)據(jù)質(zhì)量及爬蟲運行狀態(tài)。
崗位要求：
1. 學歷與專業(yè)
- 本科及以上學歷，計算機科學、軟件工程、統(tǒng)計學、信息管理與信息系統(tǒng)等專業(yè)優(yōu)先。
2. 技術(shù)能力
- 精通Python/Java/Go，熟悉Scrapy框架及多線程/異步編程。
- 熟練使用數(shù)據(jù)庫（MySQL/Redis/MongoDB）及數(shù)據(jù)清洗工具（Pandas/Numpy）。
- 了解HTTP協(xié)議、前端技術(shù)（HTML/CSS/JavaScript），具備反爬蟲經(jīng)驗。
3. 核心能力
- 具備數(shù)據(jù)敏感度，能快速定位數(shù)據(jù)質(zhì)量問題并提出解決方案。
- 熟悉數(shù)據(jù)隱私合規(guī)要求，確保數(shù)據(jù)采集符合法律法規(guī)。
4. 軟素質(zhì)
- 邏輯思維清晰，能拆解復(fù)雜業(yè)務(wù)需求為可執(zhí)行的技術(shù)方案。
- 抗壓能力強，能在數(shù)據(jù)時效性要求下高效完成工作。
- 負責搭建從數(shù)據(jù)采集、清洗到存儲的全流程自動化系統(tǒng)，確保數(shù)據(jù)時效性、完整性及合規(guī)性。
- 設(shè)計反爬蟲對抗策略（如IP池管理、請求頻率控制、驗證碼破解等），突破目標網(wǎng)站限制。
2. 非標數(shù)據(jù)結(jié)構(gòu)化
- 針對文本、圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)，開發(fā)定制化解析算法（如正則表達式、OCR識別、深度學習模型）。
- 構(gòu)建數(shù)據(jù)標注體系，為AI模型訓(xùn)練提供高質(zhì)量標注樣本（如實體識別、情感分析、語義分類等）。
3. 數(shù)據(jù)資產(chǎn)運營
- 基于業(yè)務(wù)需求（如輿情監(jiān)測、用戶畫像、競品分析），挖掘數(shù)據(jù)價值并生成可視化報告。
- 通過A/B測試驗證數(shù)據(jù)策略效果，驅(qū)動爬蟲系統(tǒng)與算法模型的迭代優(yōu)化。
4. 技術(shù)工具研發(fā)
- 優(yōu)化分布式爬蟲框架（如Scrapy+Kafka+Spark），提升系統(tǒng)吞吐量及穩(wěn)定性。
- 開發(fā)自動化監(jiān)控與報警系統(tǒng)，實時追蹤數(shù)據(jù)質(zhì)量及爬蟲運行狀態(tài)。
崗位要求：
1. 學歷與專業(yè)
- 本科及以上學歷，計算機科學、軟件工程、統(tǒng)計學、信息管理與信息系統(tǒng)等專業(yè)優(yōu)先。
2. 技術(shù)能力
- 精通Python/Java/Go，熟悉Scrapy框架及多線程/異步編程。
- 熟練使用數(shù)據(jù)庫（MySQL/Redis/MongoDB）及數(shù)據(jù)清洗工具（Pandas/Numpy）。
- 了解HTTP協(xié)議、前端技術(shù)（HTML/CSS/JavaScript），具備反爬蟲經(jīng)驗。
3. 核心能力
- 具備數(shù)據(jù)敏感度，能快速定位數(shù)據(jù)質(zhì)量問題并提出解決方案。
- 熟悉數(shù)據(jù)隱私合規(guī)要求，確保數(shù)據(jù)采集符合法律法規(guī)。
4. 軟素質(zhì)
- 邏輯思維清晰，能拆解復(fù)雜業(yè)務(wù)需求為可執(zhí)行的技術(shù)方案。
- 抗壓能力強，能在數(shù)據(jù)時效性要求下高效完成工作。
工作地點
杭州余杭區(qū)阿里巴巴西溪C區(qū)6棟
相似職位
- 爬蟲工程師1.2-1.8萬
杭州 - 西湖
上海貳壹貳企業(yè)服務(wù)外包有限公司 - python爬蟲開發(fā)工程師1-1.5萬
杭州 - 濱江
浙江金瑞稅務(wù)師事務(wù)所有限公司 - 爬蟲工程師1.5-2萬
杭州 - 余杭
外企德科 - 爬蟲工程師（電商）1.1-1.6萬
杭州 - 濱江
義烏市昀晗貿(mào)易有限公司江西分公司 - 爬蟲9000-12000元
杭州 - 西湖
軟通動力信息技術(shù)(集團)股份有限公司 - 爬蟲工程師（杭州）1-2萬
杭州 - 余杭
南京藍魔云信息技術(shù)有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- 海康威視招聘
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
文女士/HR
當前在線立即溝通
深圳市法本信息技術(shù)股份有限公司深圳市法本信息技術(shù)股份有限公司——高速成長的軟件科技企業(yè)公司簡介法本公司成立于2006年，總部位于深圳市南山區(qū)高新產(chǎn)業(yè)園區(qū)，已在北京、上海、廣州和香港設(shè)立分公司；現(xiàn)有員工約10,000人以上。目前已獲得國家高新技術(shù)企業(yè)認證、深圳市高新技術(shù)企業(yè)認證、雙軟認證和CMMI Level3認證等。公司立足于深圳，是一家面向中國大陸、香港及海外市場的電子元器件通路、專業(yè)IT服務(wù)和咨詢的多元化集團企業(yè)：上海法本電子科技有限公司，深圳市法本信息技術(shù)有限公司和深圳法本科技有限公司。深圳市法本信息技術(shù)有限公司成立于2006年，致力于成為全球領(lǐng)先的專業(yè)IT產(chǎn)品、服務(wù)及解決方案供應(yīng)商；為國內(nèi)外互聯(lián)網(wǎng)企業(yè)、金融系統(tǒng)、通信企業(yè)、高科技領(lǐng)域、教育事業(yè)及能源領(lǐng)域提供資源外包和解決方案服務(wù)。人才理念以人為本，尊重員工的個性與發(fā)展，使員工在平等、競爭、和諧的環(huán)境下充分發(fā)揮自身的創(chuàng)新能力和潛能，在達成公司發(fā)展目標的同時實現(xiàn)個人的理想和奮斗目標。核心價值觀真誠、用心、創(chuàng)造、分享、開放。合作伙伴自2006年以來，法本信息一直致力于為客戶提供優(yōu)質(zhì)的IT咨詢、解決方案以及外包服務(wù)，在互聯(lián)網(wǎng)、金融、通信、高科技、教育、能源等領(lǐng)域積累了豐富的行業(yè)經(jīng)驗，目前已與騰訊、百度、工商銀行、招商銀行、平安、中國移動、華為、中興通訊等大型企業(yè)和機構(gòu)建立了合作關(guān)系。隨著公司的高速發(fā)展，我們期盼著更多優(yōu)秀的人才加盟。公司已建立科學的培訓(xùn)、激勵和晉升機制，保障專業(yè)人才個人與公司共同健康發(fā)展。我們將凝聚優(yōu)秀的人才，共同鑄就事業(yè)的輝煌！公司相關(guān)福利： 1)5天8小時工作制； 2)入職即購買養(yǎng)老保險、醫(yī)療保險、工傷保險、失業(yè)險、生育險和住房公積金； 3)有市場競爭力的薪酬水平，公司還設(shè)立了公司發(fā)展獎、項目獎、合理化建議獎、長期服務(wù)獎等； 4)帶薪年假：試用期屆滿，即可享受年假； 5)根據(jù)公司當年經(jīng)營情況提供長于國家規(guī)定的春節(jié)假期； 6)結(jié)婚、生育正常假期，公司饋贈禮金； 7)定期組織年度體檢； 8)每月舉行生日Party、員工座談會，季度民主生活會等； 9)定期組織羽毛球、籃球和旅游等文娛活動。
公司主頁