工作職責(zé):
1、負(fù)責(zé)基于大數(shù)據(jù)平臺(tái)的數(shù)據(jù)處理和存儲(chǔ)平臺(tái)建設(shè);
2、負(fù)責(zé)分布式存儲(chǔ)系統(tǒng)構(gòu)建和智能搜索引擎;
3、負(fù)責(zé)分布式數(shù)據(jù)平臺(tái)框架下數(shù)據(jù)系統(tǒng)開發(fā)與新數(shù)據(jù)應(yīng)用開發(fā)架構(gòu)研究;
4、理解用戶數(shù)據(jù)統(tǒng)計(jì)、分析和挖掘應(yīng)用場(chǎng)景,抽象為數(shù)據(jù)產(chǎn)品需求,不斷完善基礎(chǔ)數(shù)據(jù)平臺(tái)的建設(shè);
5、負(fù)責(zé)大數(shù)據(jù)實(shí)施過程中相關(guān)技;術(shù)問題解決,包含數(shù)據(jù)采集、數(shù)據(jù)接入、數(shù)據(jù)遷移、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)安全;
6、完成與工作相關(guān)的技術(shù)文檔編寫工作。
職位要求:
1、具備較強(qiáng)的數(shù)據(jù)敏感度以及數(shù)據(jù)抽象能力;
2、熟悉Java及相關(guān)大數(shù)據(jù)架構(gòu)技術(shù),特別是ES搜索引擎,具備良好的編碼素養(yǎng)和習(xí)慣;
3、熟練掌握至少一種腳本語(yǔ)言,如Python、Shell等;
4、2年以上Hadoop項(xiàng)目或平臺(tái)實(shí)際研發(fā)經(jīng)驗(yàn),如Zookeeper/HDFS/Hive/HBase/Spark/Impala/Gobblin/Flume/Kafka等其中一個(gè)或多個(gè) ,以及GreenPlum,圖數(shù)據(jù)庫(kù)和搜索引擎;
5、自然語(yǔ)言處理經(jīng)驗(yàn),分析文本情感傾向及打標(biāo)簽;
6、強(qiáng)烈的責(zé)任心、積極的思考力、主動(dòng)作為的習(xí)慣。