崗位職責(zé):
1. 負(fù)責(zé)設(shè)計(jì)、開發(fā)和優(yōu)化網(wǎng)絡(luò)爬蟲系統(tǒng),以實(shí)現(xiàn)多平臺(tái)信息的高效抓取和分析;
2. 承擔(dān)分布式爬蟲系統(tǒng)的建設(shè)工作,優(yōu)化數(shù)據(jù)調(diào)度、抓取、解析和存儲(chǔ)流程;
3. 協(xié)助數(shù)據(jù)分析師完成數(shù)據(jù)分析任務(wù),提供支持,并參與數(shù)據(jù)可視化工作;
任職要求:
1. 統(tǒng)招本科以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè),具備扎實(shí)的計(jì)算機(jī)專業(yè)知識(shí),對(duì)數(shù)據(jù)敏感;
2. 至少熟練掌握一門編程語(yǔ)言(如Python、Ruby等),并具備良好的程序設(shè)計(jì)能力;
3. 熟悉常見的爬蟲框架,包括Scrapy、Selenium等;
4. 具備常見數(shù)據(jù)庫(kù)使用經(jīng)驗(yàn),熟練使用 SQL,如Postgres、MySQL等;
其他加分項(xiàng):
1. 具備豐富的反爬經(jīng)驗(yàn),熟悉常見的反爬手段和對(duì)策;
2. 對(duì)新技術(shù)和工具有敏銳的洞察力,能夠快速學(xué)習(xí)和應(yīng)用。