雇員點評標簽
職位描述
Python數據挖掘數據清洗數據采集爬蟲開發(fā)分布式爬蟲反爬蟲SQLNLP自然語音處理人工智能
爬蟲開發(fā)工程師
工作地點
工作地點
元中心
任職要求
1. 負責公司業(yè)務相關數據爬取任務的需求分析、設計、開發(fā)及維護；
2. 開發(fā)高效穩(wěn)定的網頁爬蟲，解決反爬機制，確保數據抓取的完整性及實時性；
3. 提取、清洗和處理抓取到的網頁數據，將其存儲至數據庫；
4. 定期升級優(yōu)化爬蟲程序，提升抓取效率，擴展抓取種類；
5. 確保數據采集的合法性和合規(guī)性，與法律法規(guī)保持一致；
6. 配合數據清洗和分析團隊，提供抓取的原始數據支持。
崗位要求：
1. 本科及以上學歷，計算機相關專業(yè)優(yōu)先考慮；
2. 熟悉 Python 編程語言，精通爬蟲框架；
3. 熟悉瀏覽器模擬、動態(tài)網頁抓取相關技術，如 Selenium、Pyppeteer 等；
4. 對反爬機制有較為深入的理解，熟悉常見的反爬處理手段（如驗證碼識別、代理池、多線程抓取等）；
5. 熟練使用 MySQL 或 NoSQL 數據庫（如 MongoDB、Redis 等），能夠獨立完成數據的存儲和管理；
6. 對數據清洗及結構化處理有一定的基礎；
7. 有較強的編碼能力、問題解決能力，以及良好的代碼規(guī)范意識；
8. 有完整的爬蟲項目經驗或協(xié)作案例者優(yōu)先。
加分項：
1. 有分布式爬蟲開發(fā)經驗者優(yōu)先；
2. 對 NLP、數據挖掘感興趣或有經驗者優(yōu)先；
3. 了解或熟悉云服務器相關部署技巧者優(yōu)先
任職要求
1. 負責公司業(yè)務相關數據爬取任務的需求分析、設計、開發(fā)及維護；
2. 開發(fā)高效穩(wěn)定的網頁爬蟲，解決反爬機制，確保數據抓取的完整性及實時性；
3. 提取、清洗和處理抓取到的網頁數據，將其存儲至數據庫；
4. 定期升級優(yōu)化爬蟲程序，提升抓取效率，擴展抓取種類；
5. 確保數據采集的合法性和合規(guī)性，與法律法規(guī)保持一致；
6. 配合數據清洗和分析團隊，提供抓取的原始數據支持。
崗位要求：
1. 本科及以上學歷，計算機相關專業(yè)優(yōu)先考慮；
2. 熟悉 Python 編程語言，精通爬蟲框架；
3. 熟悉瀏覽器模擬、動態(tài)網頁抓取相關技術，如 Selenium、Pyppeteer 等；
4. 對反爬機制有較為深入的理解，熟悉常見的反爬處理手段（如驗證碼識別、代理池、多線程抓取等）；
5. 熟練使用 MySQL 或 NoSQL 數據庫（如 MongoDB、Redis 等），能夠獨立完成數據的存儲和管理；
6. 對數據清洗及結構化處理有一定的基礎；
7. 有較強的編碼能力、問題解決能力，以及良好的代碼規(guī)范意識；
8. 有完整的爬蟲項目經驗或協(xié)作案例者優(yōu)先。
加分項：
1. 有分布式爬蟲開發(fā)經驗者優(yōu)先；
2. 對 NLP、數據挖掘感興趣或有經驗者優(yōu)先；
3. 了解或熟悉云服務器相關部署技巧者優(yōu)先
工作地點
北京海淀區(qū)上地·元中心小米1
相似職位
- python爬蟲實習生100-200元/天
北京 - 通州
北京麥麥趣耕科技有限公司 - python工程師9000-14000元
北京 - 海淀
北京盤拓數據科技有限公司 - 爬蟲工程師1.5-2萬
北京 - 海淀
博彥科技承德有限公司 - Python互聯網數據采集（爬蟲）開發(fā)工程師8000-16000元·13薪
北京 - 海淀
北京萬智信達智能科技有限公司 - 爬蟲工程師1.2-1.8萬·14薪
北京 - 石景山
中航信移動科技股份有限公司 - 數據爬蟲工程師（雙休+14薪）1.5-2.2萬·14薪
北京 - 海淀
鄭州載望升學教育科技有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯想招聘
- ?？低曊衅?/a>
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團招聘
- 中國移動招聘
- 中國聯通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
程女士/招聘專員
三日內活躍立即溝通
軟通動力信息技術(集團)股份有限公司
軟通動力信息技術（集團）股份有限公司（以下簡稱“軟通動力”）是中國數字技術產品和服務創(chuàng)新領導企業(yè)，致力于成為一家具有全球影響力的科技企業(yè)，企業(yè)數字化轉型可信賴合作伙伴。公司2005年成立于北京，多年來始終堅持科技創(chuàng)新，具有軟硬全棧的智能技術產品和服務能力，提供軟件與數字技術服務、計算產品與數字基礎設施、數字能源與智算服務以及國際化服務。目前，公司在10余個重要行業(yè)服務超過1100家國內外客戶，其中超過230家客戶為世界500強或中國500強企業(yè)，員工近90000人。軟通動力擁有軟通咨詢、軟通金科、軟通工業(yè)互聯、機械革命、軟通華方等業(yè)務子品牌，并在全球40余個城市布局業(yè)務，構建北美、日本、東南亞、中東四大國際交付中心，在北京城市副中心、江蘇無錫建設兩大智能制造基地。同時，公司前瞻布局智能制造、ICT軟硬基礎能力和生產力智能化產品，打造產業(yè)鏈閉環(huán)。軟通動力設立30個能力中心，擁有1個國家級工程實驗室，6個省市政府認定的工程、技術實驗室及研發(fā)中心，1個博士后科研工作站，50+技術合作伙伴的生態(tài)合作體系，不斷探索前沿技術的巨大商業(yè)應用潛力。公司旗下教育品牌軟通教育，擁有一家全日制本科學院——鄭州西亞斯學院數字技術產業(yè)學院；同時在全國合作院校600多所，設有70多個校企聯合人才培養(yǎng)基地，通過校企合作、協(xié)同育人，為社會培養(yǎng)高素質應用型人才。軟通動力先后獲得“2023年中國IT服務市場排名TOP 1”、“2024年Q4 PC出貨量國內市場份額排名TOP 2”、“2024年中國軟件和信息技術服務競爭力百強企業(yè)”、“2023年中國信創(chuàng)企業(yè)100強”、“2024萬得ESG評級（Wind ESG Rating）AA級及信息技術服務行業(yè)ESG綜合得分排名第一”等榮譽及市場認可，并擁有全球軟件工程領域最高級別CMMI V2.0成熟度5級評估認證、國家研發(fā)運營一體化（DevOps）三級能力成熟度模型認證、信息技術服務標準（ITSS）運維能力成熟度一級認證等專業(yè)資質，支撐公司更優(yōu)質的服務體系。
公司主頁