日日噜夜夜草|一级黄色录像高清版|调教白富美加勒比久久|亚洲欧洲精品婷婷|日韩综合无码色色|日韩精品一区妖精视频|亚洲无码中文字幕hd|99亚洲思思丝袜|手机看片国产精品大胆亚洲|成人无码视频一区二区在线播放

更新于 今天

python爬蟲工程師

1.1-1.5萬
  • 杭州濱江區(qū)
  • 5-10年
  • 本科
  • 全職
  • 招1人

職位描述

PythonSQL數(shù)據(jù)挖掘數(shù)據(jù)清洗數(shù)據(jù)采集爬蟲開發(fā)電商平臺(tái)電子商務(wù)互聯(lián)網(wǎng)
崗位職責(zé):
1、使用 Python 及相關(guān)生態(tài)庫(如Scrapy, Requests, Selennium, Playwright等)設(shè)計(jì)、開發(fā)和維護(hù)穩(wěn)定可靠的分布式爬蟲系統(tǒng), targeting 主流電商平臺(tái)(如淘寶/天貓、京東、拼多多、抖音電商、小紅書等)。
2、自動(dòng)化輔助:在遇到復(fù)雜反爬策略(如驗(yàn)證碼、行為檢測、高強(qiáng)度加密)時(shí),能夠運(yùn)用 影刀 或 AirTest 等RPA工具作為有效補(bǔ)充方案,構(gòu)建混合型自動(dòng)化采集流程,確保數(shù)據(jù)獲取的成功率與穩(wěn)定性。
3、數(shù)據(jù)處理:對原始數(shù)據(jù)進(jìn)行清洗、去重、解析、轉(zhuǎn)換和校驗(yàn),利用 Pandas, NumPy 等工具進(jìn)行數(shù)據(jù)治理,確保數(shù)據(jù)質(zhì)量和可用性。
4、數(shù)據(jù)存儲(chǔ):將處理后的數(shù)據(jù)高效存儲(chǔ)到數(shù)據(jù)庫(如 MySQL, PostgreSQL, MongoDB, Redis 等)中,并進(jìn)行合理的表結(jié)構(gòu)設(shè)計(jì)和索引優(yōu)化。
5、運(yùn)維監(jiān)控:維護(hù)數(shù)據(jù)采集流程的日常穩(wěn)定運(yùn)行,編寫監(jiān)控腳本,及時(shí)排查和解決因平臺(tái)策略變更、系統(tǒng)環(huán)境等問題導(dǎo)致的故障。
6、技術(shù)文檔:撰寫清晰的技術(shù)設(shè)計(jì)、流程說明及API文檔,保證代碼和項(xiàng)目的可維護(hù)性。
崗位要求:
1、本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè),3-5年以上Python開發(fā)經(jīng)驗(yàn)。
2、精通Python編程,有扎實(shí)的編程基礎(chǔ),熟悉常用數(shù)據(jù)結(jié)構(gòu)、算法和設(shè)計(jì)模式。
3、具備豐富的網(wǎng)絡(luò)爬蟲開發(fā)經(jīng)驗(yàn),熟練掌握至少一種主流爬蟲框架(如Scrapy),能獨(dú)立處理常見反爬機(jī)制。
4、有RPA工具(如 影刀、AirTest、UiPath等)的實(shí)際項(xiàng)目應(yīng)用經(jīng)驗(yàn),理解其與代碼開發(fā)的互補(bǔ)關(guān)系。
5、熟練掌握數(shù)據(jù)清洗和分析的常用庫,如 Pandas。
6、熟悉數(shù)據(jù)庫技術(shù),能熟練編寫和優(yōu)化SQL語句,有MySQL等關(guān)系型數(shù)據(jù)庫的使用和設(shè)計(jì)經(jīng)驗(yàn)。
7、熟悉Web前端基礎(chǔ)(HTML, CSS, JavaScript, Ajax)和網(wǎng)絡(luò)協(xié)議(HTTP/HTTPS),精通瀏覽器開發(fā)者工具的使用。

工作地點(diǎn)

杭州濱江區(qū)華業(yè)發(fā)展中心2801

職位發(fā)布者

曾強(qiáng)/人事經(jīng)理

三日內(nèi)活躍
立即溝通
公司Logo杭州樂書數(shù)字科技有限公司
樂書是一家面向電商和社群領(lǐng)域商家的供應(yīng)鏈金融科技服務(wù)平臺(tái)。公司成立于2021年12月,總部位于杭州。樂書由電商和金融行業(yè)的頂級人才與資本市場專家共同創(chuàng)立。公司致力于利用人工智能、區(qū)塊鏈、云計(jì)算和大數(shù)據(jù)等科技,結(jié)合電商和社群供應(yīng)鏈場景,為中小商家提供一站式的解決方案和服務(wù)。公司目標(biāo)是成為全球領(lǐng)先的面向電商和社群行業(yè)的供應(yīng)鏈金融科技解決方案提供商。公司的創(chuàng)始團(tuán)隊(duì)來自電商和金融行業(yè)的翹楚,具有豐富的產(chǎn)品開發(fā)和業(yè)務(wù)運(yùn)營經(jīng)驗(yàn)。公司通過投資和深度合作的方式與行業(yè)翹楚企業(yè)共同發(fā)展,不斷借鑒最佳實(shí)踐,拓展自身業(yè)務(wù)。這使得我們對電商和社群生態(tài)、供應(yīng)鏈金融場景有極為深刻的理解,特別是在國內(nèi)產(chǎn)地供應(yīng)鏈和云倉合作等方面有重要優(yōu)勢。在電商和社群供應(yīng)鏈場景的深度挖掘與理解基礎(chǔ)上,公司運(yùn)用ABCD科技手段開發(fā)定制化的解決方案,滿足中小商家的個(gè)性化需求。目前,公司已連接全國100+合作云倉倉庫,為電商和社群商家提供全鏈條一站式的供應(yīng)鏈金融科技服務(wù),業(yè)務(wù)范圍包括電商極速收款、訂單融資、采購金融等,服務(wù)各大流量平臺(tái)的產(chǎn)地供應(yīng)鏈業(yè)務(wù)。未來將持續(xù)加大在科技和產(chǎn)品創(chuàng)新方面的投入,不斷優(yōu)化和豐富解決方案與服務(wù),實(shí)現(xiàn)供應(yīng)鏈金融和產(chǎn)地供應(yīng)鏈場景的全覆蓋。公司愿景是成為全球電商和社群企業(yè)最信賴的供應(yīng)鏈金融和產(chǎn)地供應(yīng)鏈合作伙伴,為更多中小商家?guī)韮r(jià)值和機(jī)會(huì)。
公司主頁