日日噜夜夜草|一级黄色录像高清版|调教白富美加勒比久久|亚洲欧洲精品婷婷|日韩综合无码色色|日韩精品一区妖精视频|亚洲无码中文字幕hd|99亚洲思思丝袜|手机看片国产精品大胆亚洲|成人无码视频一区二区在线播放

更新于 6月20日

高級python爬蟲工程師

8000-15000元
  • 石家莊裕華區(qū)
  • 3-5年
  • 本科
  • 全職
  • 招1人

職位描述

PythonScala數(shù)據(jù)采集爬蟲開發(fā)分布式爬蟲ScrapyPySpiderWebMagic新媒體互聯(lián)網(wǎng)云計算/大數(shù)據(jù)
實戰(zhàn)技能: 1、做過 新媒體 例如 微博、公眾號、抖音 等新媒體數(shù)據(jù)爬取。 崗位職責(zé): 1、負(fù)責(zé)設(shè)計和開發(fā)分布式爬蟲和調(diào)度系統(tǒng),爬蟲核心算法和調(diào)度策略優(yōu)化; 2、負(fù)責(zé)部分網(wǎng)站驗證碼破解和現(xiàn)有爬蟲系統(tǒng)效率的提升; 3、負(fù)責(zé)網(wǎng)絡(luò)數(shù)據(jù)抓取規(guī)劃和數(shù)據(jù)鏈路規(guī)劃、高效且穩(wěn)定爬取指定網(wǎng)站的數(shù)據(jù); 4、構(gòu)建高可用性、高可擴展性的網(wǎng)絡(luò)信息搜集平臺; 5、優(yōu)化現(xiàn)有數(shù)據(jù)清洗,數(shù)據(jù)提取,結(jié)構(gòu)化,入庫等過程; 6、有爬取新媒體數(shù)據(jù)的實戰(zhàn)經(jīng)驗,如:微信公眾號、微博、抖音、快手、西瓜、頭條等 7、會解密,各種驗證碼,滑塊驗證碼,加減乘除,協(xié)議爬取,新媒體爬取等,數(shù)據(jù)庫,js逆向,分析數(shù)據(jù)標(biāo)簽化 8、熟練掌握正則表達(dá)式、XPath、json數(shù)據(jù)傳輸、HTML、CSS、js等網(wǎng)頁信息抽取技術(shù)。 9、熟悉各種爬蟲技術(shù):adsl撥號、正則表達(dá)式、脫殼技術(shù)、加密、圖片破解、二維碼識別、滑塊驗證碼破解、httpClient、分布式爬蟲調(diào)度、代理ip調(diào)度算法、配置化爬蟲、授權(quán)爬蟲; 任職要求 1、計算機相關(guān)專業(yè),python語言,三年以上爬蟲經(jīng)驗; 2、有獨立負(fù)責(zé)過爬蟲平臺搭建、爬蟲系統(tǒng)處理經(jīng)驗,爬蟲項目規(guī)劃能力; 3、熟悉Scrapy、Pyspider、nutch、webmagic等主流爬蟲框架使用,了解js引擎技術(shù)等優(yōu)先考慮; 4、熟悉js逆向,混淆原理,js語法樹,客戶端常用簽名算法等; 5、具備web挖掘等搜索引擎相關(guān)知識,有豐富的網(wǎng)絡(luò)爬蟲、網(wǎng)頁去重、網(wǎng)頁信息抽取的經(jīng)驗; 6、掌握網(wǎng)頁抓取原理及技術(shù),包括基于Cookie的登錄管理,基于headless的采集,熟悉正則表達(dá)式、XPath、Jsoup等網(wǎng)頁信息抽取技術(shù); 7、熟悉Linux平臺開發(fā)、常用操作及命令,良好的編碼習(xí)慣,有獨立思考的能力,善于解決問題; 8、具備較強的團隊協(xié)作精神,工作責(zé)任心強,良好的溝通、理解和執(zhí)行能力。

工作地點

石家莊裕華區(qū)湘江道239號

職位發(fā)布者

崔曉飛/人事經(jīng)理

昨日活躍
立即溝通
公司Logo河北華網(wǎng)計算機技術(shù)有限公司
河北華網(wǎng)計算機技術(shù)有限公司隸屬于河北省通信建設(shè)有限公司,注冊資金1000萬元,公司以軟件開發(fā)、系統(tǒng)集成、電信增值業(yè)務(wù)等為主要工作內(nèi)容,通過了軟件企業(yè)認(rèn)證,可以為各行業(yè)客戶提供優(yōu)良的信息化產(chǎn)品及滿意的技術(shù)支持和服務(wù)。公司2008年組建,目前有員工約60人,包括軟件開發(fā)、軟件測試、系統(tǒng)集成、市場開發(fā)、項目管理等多方面的專業(yè)技術(shù)人員,本科及以上學(xué)歷專業(yè)人才占到全部人數(shù)的80%以上。公司承接了眾多信息化系統(tǒng)項目的研發(fā),與國內(nèi)三大通信運營商、多家知名院校、企事業(yè)單位建立了良好的合作關(guān)系,在多個行業(yè)形成了大量成功案例,受到用戶一致好評,在同行業(yè)中擁有極高的信譽和口碑,我們誠摯地期待在更廣闊的領(lǐng)域與您的合作!公司實行五天工作制,入職員工享有五險、帶薪休假,每年安排定期體檢;公司薪酬包括工資、績效、補助等,有全勤補助、加班補助、交通補助、通信補助等,另外還有項目獎、半年獎、年終獎等。公司期待專業(yè)人士的加盟,共創(chuàng)信息化發(fā)展事業(yè)的未來。公司網(wǎng)站:www.huawangsoft.com總公司網(wǎng)站:www.hebccc.com
公司主頁