崗位職責:
1、負責使用 Python 開發(fā)高效、獲取公開或授權(quán)的網(wǎng)絡數(shù)據(jù);
2、優(yōu)化程序,確保數(shù)據(jù)獲取的穩(wěn)定性和效率;
3、對采集的數(shù)據(jù)進行清洗、去重、結(jié)構(gòu)化存儲(如MySQL、CSV等);
4、構(gòu)建自動化數(shù)據(jù)采集與監(jiān)控系統(tǒng),確保數(shù)據(jù)更新的及時性;
5、配合數(shù)據(jù)分析師或業(yè)務團隊,提供高質(zhì)量的數(shù)據(jù)支持;
6、編寫技術文檔,維護采集代碼,優(yōu)化數(shù)據(jù)采集流程。
任職要求:
1、2年以上數(shù)據(jù)開發(fā)經(jīng)驗,計算機相關專業(yè)??萍耙陨蠈W歷;
2、熟練掌握 Python,熟悉 Requests、Scrapy、BeautifulSoup、Selenium 等; 3、熟悉 HTML/CSS/JavaScript,能解析動態(tài)網(wǎng)頁(如Ajax、SPA等);
4、掌握 XPath、正則表達式(Regex) 等數(shù)據(jù)提取技術;
5、熟悉數(shù)據(jù)庫(MySQL、SQL等),能設計合理的數(shù)據(jù)存儲方案;
6、了解 HTTP/HTTPS 協(xié)議,熟悉 Headers、Cookies、Session 等網(wǎng)絡請求機制 。