崗位職責(zé):
1、參與大數(shù)據(jù)架構(gòu)的規(guī)劃設(shè)計(jì),參與業(yè)務(wù)建模及大數(shù)據(jù)平臺(tái)的搭建、運(yùn)維,業(yè)務(wù)流程與大數(shù)據(jù)的結(jié)合提出建議和解決方案;
2、完成基于大數(shù)據(jù)平臺(tái)的業(yè)務(wù)項(xiàng)目的開(kāi)發(fā)、實(shí)施和維護(hù)工作;
3、負(fù)責(zé)解決大數(shù)據(jù)平臺(tái)建設(shè)過(guò)程中的技術(shù)難點(diǎn)和性能調(diào)優(yōu)工作;
4、參與數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì),根據(jù)業(yè)務(wù)需求實(shí)現(xiàn)高效率、高靈活性的查詢(xún),數(shù)據(jù)分析,數(shù)據(jù)挖掘工作;
5、負(fù)責(zé)開(kāi)發(fā)大數(shù)據(jù)工具,如報(bào)表平臺(tái)、多維度分析工具、ETL平臺(tái)、調(diào)度平臺(tái)的研發(fā);
6、負(fù)責(zé)高吞吐、高可用數(shù)據(jù)實(shí)時(shí)和離線采集,高并發(fā)的大數(shù)據(jù)業(yè)務(wù)架構(gòu)設(shè)計(jì);
7、負(fù)責(zé)研發(fā)技術(shù)發(fā)展方向,新技術(shù)領(lǐng)域的探索,引入并驗(yàn)證數(shù)據(jù)平臺(tái)領(lǐng)域新技術(shù),提供系統(tǒng)效能;
8、對(duì)大數(shù)據(jù)技術(shù)及開(kāi)源框架充滿(mǎn)熱情,具有鉆研精神,能自我學(xué)習(xí)。
任職要求:
1、具有3年Java開(kāi)發(fā)經(jīng)驗(yàn),熟悉SpringCloud生態(tài),掌握Hibernate、Mybatis任意一種ORM框架,掌握Oracle、Mysql數(shù)據(jù)庫(kù);
2、具備3年以上的大數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn),熟悉大數(shù)據(jù)相關(guān)技術(shù)、數(shù)據(jù)倉(cāng)庫(kù),分布式架構(gòu)技術(shù)理論,具有大數(shù)據(jù)整體系統(tǒng)架構(gòu)設(shè)計(jì)和實(shí)戰(zhàn)經(jīng)驗(yàn),有從無(wú)到有建設(shè)大數(shù)據(jù)平臺(tái)經(jīng)驗(yàn)者優(yōu)先;
3、較強(qiáng)的開(kāi)發(fā)能力,必須熟練使用相關(guān)開(kāi)發(fā)語(yǔ)言(Java/Python/Scala/Shell等),熟悉大數(shù)據(jù)生態(tài)、關(guān)系數(shù)據(jù)庫(kù)和NOSQL數(shù)據(jù)庫(kù)、Linux等相關(guān)知識(shí),能夠獨(dú)立完成大數(shù)據(jù)相關(guān)的技術(shù)實(shí)現(xiàn)和調(diào)優(yōu);
4、具備異構(gòu)數(shù)據(jù)源的大數(shù)據(jù)量的增、全量數(shù)據(jù)集成的調(diào)優(yōu)經(jīng)驗(yàn),技術(shù)不限于DataX 、Sqoop、爬蟲(chóng)等技術(shù)等;
5、熟悉Hadoop、Hbase、Hdfs、Yarn、Zookeeper、Hive、Spark、Flink、Kafka、Flume、Phoenix等組件或技術(shù),能閱讀源碼跟蹤問(wèn)題,熟悉復(fù)雜數(shù)據(jù)查詢(xún)性能調(diào)優(yōu),包括實(shí)時(shí)查詢(xún)和離線批處理查詢(xún),服務(wù)器和生態(tài)組件的參數(shù)優(yōu)化;
6、熟練掌握Spark、Flink任意一種計(jì)算框架,掌握MapReduce計(jì)算框架原理,并有實(shí)際項(xiàng)目開(kāi)發(fā)經(jīng)驗(yàn);
7、精通用戶(hù)行為分析模型,熟悉企業(yè)應(yīng)用畫(huà)像模型算法;
8、扎實(shí)的獨(dú)立分析問(wèn)題、解決問(wèn)題的能力,具備良好的需求理解能力、溝通協(xié)調(diào)能力和團(tuán)隊(duì)合作精神;有很強(qiáng)的數(shù)據(jù)設(shè)計(jì)抽象能力,擅于跟業(yè)務(wù)團(tuán)隊(duì)就業(yè)務(wù)問(wèn)題進(jìn)行良好的溝通,推動(dòng)業(yè)務(wù)的指標(biāo)化、量化。