日日噜夜夜草|一级黄色录像高清版|调教白富美加勒比久久|亚洲欧洲精品婷婷|日韩综合无码色色|日韩精品一区妖精视频|亚洲无码中文字幕hd|99亚洲思思丝袜|手机看片国产精品大胆亚洲|成人无码视频一区二区在线播放

更新于 2025-10-19 01:29:08

java數(shù)據(jù)開(kāi)發(fā)工程師(周末雙休,入職五險(xiǎn)一金)

5000-10000元
  • 合肥蜀山區(qū)
  • 經(jīng)驗(yàn)不限
  • 大專
  • 全職
  • 招1人

職位描述

爬蟲(chóng)開(kāi)發(fā)C語(yǔ)言Java
網(wǎng)絡(luò)爬蟲(chóng)方向
崗位職責(zé):
1.負(fù)責(zé)設(shè)計(jì)、開(kāi)發(fā)和維護(hù)高效穩(wěn)定的網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng),確保數(shù)據(jù)抓取的準(zhǔn)確性及實(shí)時(shí)性。
2.優(yōu)化網(wǎng)絡(luò)請(qǐng)求性能,解決高并發(fā)、分布式環(huán)境下的爬蟲(chóng)技術(shù)難題。
3.分析并繞過(guò)目標(biāo)網(wǎng)站的反爬機(jī)制(如IP封禁、驗(yàn)證碼、動(dòng)態(tài)加密等)。
4.實(shí)現(xiàn)數(shù)據(jù)清洗、結(jié)構(gòu)化存儲(chǔ)(如MySQL、Elasticsearch等),支持業(yè)務(wù)部門數(shù)據(jù)需求。
5.與算法、數(shù)據(jù)分析團(tuán)隊(duì)協(xié)作,提供高質(zhì)量數(shù)據(jù)源。
任職要求:
必需技能:
1.扎實(shí)的Java基礎(chǔ),精通集合、多線程、IO/NIO、網(wǎng)絡(luò)編程等。
2.熟悉HTTP/HTTPS協(xié)議及網(wǎng)絡(luò)通信機(jī)制,熟練使用HttpClient、OkHttp等工具。
3.具備爬蟲(chóng)開(kāi)發(fā)經(jīng)驗(yàn),掌握WebMagic、Jsoup、Selenium等至少一種框架。
4.熟悉主流數(shù)據(jù)庫(kù)(MySQL、Redis)及SQL優(yōu)化,了解NoSQL技術(shù)。
5.熟悉HTML/XML/JSON解析,精通XPath、正則表達(dá)式等數(shù)據(jù)提取技術(shù)。
優(yōu)先條件:
1.有分布式爬蟲(chóng)經(jīng)驗(yàn)(如Redis分布式隊(duì)列、Zookeeper調(diào)度)。
2.熟悉反反爬策略(代理IP池、請(qǐng)求頭動(dòng)態(tài)偽裝、瀏覽器指紋模擬)。
3.了解JS動(dòng)態(tài)渲染頁(yè)面爬?。≒hantomJS、Puppeteer)。
4.有大規(guī)模數(shù)據(jù)ETL、Hadoop/Spark處理經(jīng)驗(yàn)者優(yōu)先。
5.有開(kāi)源爬蟲(chóng)項(xiàng)目貢獻(xiàn)或獨(dú)立開(kāi)發(fā)爬蟲(chóng)框架者加分

工作地點(diǎn)

合肥蜀山區(qū)國(guó)際電子商務(wù)產(chǎn)業(yè)園四期-D棟17樓

職位發(fā)布者

石女士/HRBP

昨日活躍
立即溝通
公司Logo北京清博智能科技有限公司
清博智能旗下新媒體指數(shù)(www.gsdata.cn)是中國(guó)新媒體大數(shù)據(jù)第一平臺(tái),是中國(guó)新媒體大數(shù)據(jù)評(píng)價(jià)體系和影響力標(biāo)準(zhǔn)的研究制定者。中央網(wǎng)信辦、國(guó)資委、教育部等國(guó)家部委,新華社、央視、解放軍報(bào)、中國(guó)青年報(bào)等各大媒體,萬(wàn)達(dá)集團(tuán)、海爾集團(tuán)等大型企業(yè),騰訊、新浪、今日頭條等互聯(lián)網(wǎng)公司的新媒體運(yùn)營(yíng)均以新媒體指數(shù)為評(píng)價(jià)標(biāo)準(zhǔn)。新媒體指數(shù)同時(shí)也為中央網(wǎng)信辦、新華社、孔子學(xué)院、萬(wàn)達(dá)集團(tuán)、海爾集團(tuán)、藍(lán)色光標(biāo)、騰訊、新浪、今日頭條等機(jī)構(gòu)和單位提供大數(shù)據(jù)挖掘、大數(shù)據(jù)分析和輿情監(jiān)測(cè)服務(wù),進(jìn)行輿情、新聞發(fā)言人、媒體融合、新媒體培訓(xùn)等業(yè)務(wù)。公司的產(chǎn)品與服務(wù)有:1、數(shù)據(jù)分析新媒體指數(shù)微信、微博賬號(hào),每周提供雙微賬號(hào)排名榜單及數(shù)據(jù)分析,可將榜單發(fā)布在客戶???官方微信、微博、網(wǎng)站、報(bào)紙上,起到激勵(lì)促進(jìn)各地方新媒體發(fā)展和提供決策依據(jù)的作用。(服務(wù)客戶包括騰訊、新浪、華為、海爾等)。2、輿情報(bào)告圍繞微博微信及全網(wǎng)信息,提供實(shí)時(shí)輿情分析報(bào)告、輿情周刊、輿情月報(bào)、季度輿情報(bào)告,以及專題輿情研究報(bào)告、輿情推演(初步預(yù)測(cè)輿情事件的發(fā)展走勢(shì))、輿情會(huì)商等。(服務(wù)客戶包括中央網(wǎng)信辦、新華網(wǎng)、新浪等單位)。3、定制報(bào)告根據(jù)客戶個(gè)性化、針對(duì)性需求,通過(guò)專項(xiàng)定制的市場(chǎng)調(diào)查來(lái)獲取深度信息,憑借自身在數(shù)據(jù)渠道、行業(yè)資源、知識(shí)密集的綜合競(jìng)爭(zhēng)優(yōu)勢(shì),為客戶提供行業(yè)深度調(diào)研、廠商調(diào)研、渠道調(diào)研、品牌調(diào)研等專項(xiàng)咨詢和專項(xiàng)定制服務(wù)。(服務(wù)客戶包括安徽衛(wèi)視、每日經(jīng)濟(jì)新聞、E租寶、石油交易所、無(wú)人機(jī)企業(yè)等)4、微信輿情監(jiān)測(cè)系統(tǒng)研究開(kāi)發(fā)國(guó)內(nèi)首套微信輿情監(jiān)測(cè)系統(tǒng),日監(jiān)測(cè)近500萬(wàn)個(gè)微信公眾號(hào),實(shí)時(shí)發(fā)現(xiàn)不良信息,為政府企業(yè)處置提供即時(shí)有效預(yù)警。(目前萬(wàn)達(dá)集團(tuán)正在使用)5、自媒體廣告交易平臺(tái)基于新媒體指數(shù)的精準(zhǔn)媒體推薦,極簡(jiǎn)操作、方便快捷達(dá)成交易。操作便捷:極簡(jiǎn)操作,方便快捷達(dá)成交易。6、線下沙龍2014年10月16日至今已經(jīng)辦了28期沙龍。沙龍邀請(qǐng)學(xué)界專家、業(yè)界精英、知名媒體、意見(jiàn)領(lǐng)袖廣泛參與,新媒體指數(shù)協(xié)作圈300多個(gè)群同步直播,新媒體、自媒體廣泛報(bào)道,刺猬公社、學(xué)術(shù)中國(guó)、新聞傳播學(xué)研等影響力較大的公眾號(hào)深度傳播,沙龍受眾覆蓋上億人次。7、線下培訓(xùn)開(kāi)展輿情預(yù)警與處置、新聞發(fā)言人基本素養(yǎng)與技巧、媒體融合發(fā)展、新媒體運(yùn)營(yíng)等線下培訓(xùn)。8、推廣運(yùn)營(yíng)利用自身及合作伙伴資源幫助客戶進(jìn)行品牌和產(chǎn)品的推廣,以及微信、微博的運(yùn)營(yíng),推廣運(yùn)營(yíng)方式有:9、全網(wǎng)輿情監(jiān)測(cè)系統(tǒng)輿情系統(tǒng)提供相關(guān)熱點(diǎn)事件的輿情監(jiān)測(cè)、提供客戶需要的輿情預(yù)警,提供領(lǐng)先的輿情監(jiān)測(cè)系統(tǒng)。10、頁(yè)面醫(yī)生運(yùn)用“頁(yè)面醫(yī)生”產(chǎn)品做出網(wǎng)站、新媒體全面運(yùn)營(yíng)診斷,記錄、追蹤用戶在頁(yè)面的操作,幫助管理者、運(yùn)營(yíng)者對(duì)網(wǎng)站做出有效調(diào)整,提高網(wǎng)站的運(yùn)行效率。11、政務(wù)推薦引擎運(yùn)用“政務(wù)推薦引擎”產(chǎn)品,根據(jù)用戶偏好在網(wǎng)站、新媒體對(duì)訪問(wèn)用戶提供用戶個(gè)性化推薦本站的政策、法規(guī)、文章、內(nèi)容和產(chǎn)品,從而提升網(wǎng)站、新媒體的用戶粘度、訪問(wèn)量和用戶滿意度。12、行業(yè)大數(shù)據(jù)建設(shè)充分運(yùn)用自身及行業(yè)技術(shù)力量和資源,進(jìn)行各行各業(yè)模型構(gòu)建、技術(shù)開(kāi)發(fā)、大數(shù)據(jù)平臺(tái)建設(shè)。結(jié)合開(kāi)發(fā)新媒體指數(shù)的技術(shù)和經(jīng)驗(yàn),開(kāi)展各類行業(yè)大數(shù)據(jù)建設(shè),目前正在進(jìn)行金融、社群、醫(yī)美、創(chuàng)投、影視等行業(yè)大數(shù)據(jù)建設(shè)。13、API調(diào)用為政府部門、集團(tuán)企業(yè)、大數(shù)據(jù)公司、公關(guān)營(yíng)銷企業(yè)提供收費(fèi)API調(diào)用服務(wù)。
公司主頁(yè)