崗位職責
1、實現常規(guī)網絡爬蟲、分布式爬蟲的開發(fā)及架構設計;
2、協(xié)助搭建ETL流程,整合MySQL/Excel等數據源;
3、負責網絡采集數據,進行多平臺信息的抓取和分析工作;
4、與團隊合作、解決復雜數據問題,提供業(yè)務洞察。
任職資格
?1、??萍耙陨蠈W歷,計算機、統(tǒng)計學等相關專業(yè)優(yōu)先;
2、掌握Python語法及Pandas/Numpy基礎用法,能獨立編寫爬蟲腳本,有相關爬蟲系統(tǒng)開發(fā)經驗;
3、熟悉分布式爬蟲應用和調度策略,掌握各類反爬機制和驗證碼機制;
4、參與過至少1個完整的數據分析項目(需包含爬蟲+清洗+分析全流程)處理過10萬級數據量;