崗位職責(zé):
1、負(fù)責(zé)情報系統(tǒng)的整體架構(gòu)設(shè)計及數(shù)據(jù)爬取能力建設(shè),保證數(shù)據(jù)獲取能力的穩(wěn)定性,負(fù)責(zé)爬蟲技術(shù)的核心難點攻堅;
2、負(fù)責(zé)數(shù)據(jù)抓取的全面性、準(zhǔn)確性、及時性建設(shè),解決抓取過程中遇到的技術(shù)問題和挑戰(zhàn);
3、建設(shè)情報系統(tǒng)的離線、實時監(jiān)測及預(yù)警能力,保障數(shù)據(jù)實時入倉,并優(yōu)化查詢性能,具備大規(guī)模高性能數(shù)據(jù)檢索能力;
崗位要求:
1、5年以上工作經(jīng)驗,精通Java及Python技術(shù)棧,熟練使用SpringMVC、Python,常用緩存、隊列、存儲等中間件技術(shù);
2、3年以上大數(shù)據(jù)開發(fā)相關(guān)經(jīng)驗,熟悉大數(shù)據(jù)技術(shù)及相關(guān)原理,能夠快手開發(fā)并優(yōu)化日常問題;
3、有海外媒體平臺的數(shù)據(jù)系統(tǒng)建設(shè)經(jīng)驗優(yōu)先;
4、積極樂觀,認(rèn)真負(fù)責(zé),樂于協(xié)作,熱愛技術(shù),具備快速學(xué)習(xí)能力;