崗位職責(zé):
大數(shù)據(jù)平臺設(shè)計(jì):
負(fù)責(zé)大數(shù)據(jù)基礎(chǔ)平臺、海量數(shù)據(jù)存儲(chǔ)處理分布式平臺、數(shù)據(jù)分析系統(tǒng)架構(gòu)的設(shè)計(jì)構(gòu)建和研發(fā)。
設(shè)計(jì)和構(gòu)建企業(yè)級大數(shù)據(jù)平臺的整體架構(gòu),包括數(shù)據(jù)收集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘、數(shù)據(jù)輸出等。
負(fù)責(zé)規(guī)劃從數(shù)據(jù)源到數(shù)據(jù)應(yīng)用的整體流程,并參與用戶產(chǎn)品和數(shù)據(jù)產(chǎn)品的決策。
技術(shù)選型與優(yōu)化:
基于Hadoop、Spark等大數(shù)據(jù)平臺進(jìn)行技術(shù)選型和開發(fā)。
負(fù)責(zé)大數(shù)據(jù)平臺的優(yōu)化和改進(jìn)工作,包括性能調(diào)優(yōu)、故障恢復(fù)等。
數(shù)據(jù)治理與規(guī)范:
制定項(xiàng)目/數(shù)據(jù)倉庫設(shè)計(jì)及實(shí)現(xiàn)規(guī)范,指導(dǎo)設(shè)計(jì)研發(fā)和部署。
制定數(shù)據(jù)治理領(lǐng)域的數(shù)據(jù)體系化管理措施,包括元數(shù)據(jù)設(shè)計(jì)、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全等。
技術(shù)研發(fā)與創(chuàng)新:
深入研究大數(shù)據(jù)相關(guān)技術(shù)和產(chǎn)品,跟進(jìn)業(yè)界先進(jìn)技術(shù)。
負(fù)責(zé)組織同事研究行內(nèi)最前沿的技術(shù)發(fā)展方向,突破現(xiàn)有的技術(shù)難題。
團(tuán)隊(duì)管理與培養(yǎng):
負(fù)責(zé)大數(shù)據(jù)研發(fā)團(tuán)隊(duì)建設(shè)、人才梯隊(duì)培養(yǎng)和技術(shù)團(tuán)隊(duì)管理。
搭建與培養(yǎng)團(tuán)隊(duì)成員,進(jìn)行任務(wù)劃分、進(jìn)度監(jiān)控、代碼規(guī)范和質(zhì)量保證。
技能要求:
編程與框架:
精通Hadoop、HBase、Hive、Spark等大數(shù)據(jù)技術(shù)及其生態(tài)圈。
熟悉Java、Python等編程語言,了解NoSQL、全文搜索引擎等。
數(shù)據(jù)分析與決策:
具備采用大數(shù)據(jù)技術(shù)分析海量數(shù)據(jù)的能力。
熟悉數(shù)據(jù)挖掘和數(shù)據(jù)分析方法,能夠構(gòu)建用戶數(shù)據(jù)模型。
云計(jì)算與分布式系統(tǒng):
具有云計(jì)算的經(jīng)驗(yàn)和知識,知道如何在云計(jì)算環(huán)境中工作。
掌握分布式系統(tǒng)原理,對分布式存儲(chǔ)、流式計(jì)算、消息隊(duì)列等有深入理解。
數(shù)據(jù)倉庫與數(shù)據(jù)挖掘:
具備豐富的數(shù)據(jù)倉庫建模理論和數(shù)據(jù)挖掘經(jīng)驗(yàn)。
能夠基于業(yè)務(wù)需求設(shè)計(jì)和開發(fā)數(shù)據(jù)倉庫和數(shù)據(jù)挖掘方案。
任職要求:
學(xué)歷與經(jīng)驗(yàn):
碩士及以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè)。
5年以上大數(shù)據(jù)系統(tǒng)架構(gòu)經(jīng)驗(yàn),特別是在互聯(lián)網(wǎng)、大數(shù)據(jù)領(lǐng)域的開發(fā)經(jīng)驗(yàn)。
項(xiàng)目經(jīng)驗(yàn):
有成功的大數(shù)據(jù)項(xiàng)目經(jīng)驗(yàn),包括大數(shù)據(jù)平臺的規(guī)劃、設(shè)計(jì)、開發(fā)和優(yōu)化等。
具備大項(xiàng)目管理經(jīng)驗(yàn),包括但不限于前期需求溝通、建設(shè)方案編寫、中期項(xiàng)目實(shí)施、進(jìn)度匯報(bào)、后期項(xiàng)目維護(hù)等。
其他:
強(qiáng)烈的敬業(yè)精神,良好的溝通與協(xié)調(diào)能力,能有效組織協(xié)調(diào)團(tuán)隊(duì)完成各類開發(fā)工作。
對大數(shù)據(jù)有深刻的理解,對解決具有挑戰(zhàn)性問題充滿激情。