崗位職責(zé):
1、參與公司大數(shù)據(jù)平臺(tái)的規(guī)劃、制定共享數(shù)據(jù)管理的規(guī)范,參與平臺(tái)產(chǎn)品的功能設(shè)計(jì);
2、負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)系統(tǒng)模塊的分解、接口設(shè)計(jì)、技術(shù)文檔規(guī)范的編制;
3、負(fù)責(zé)大數(shù)據(jù)平臺(tái)的研發(fā),解決大數(shù)據(jù)平臺(tái)開發(fā)過程的各類技術(shù)問題;
4、負(fù)責(zé)大數(shù)據(jù)平臺(tái)的數(shù)據(jù)治理,為數(shù)據(jù)應(yīng)用場(chǎng)景提供規(guī)范、清潔的數(shù)據(jù);
5、開發(fā)可靠、高效、準(zhǔn)確的數(shù)據(jù)集市, 并提供技術(shù)支持維護(hù)和升級(jí)大數(shù)據(jù)基礎(chǔ)設(shè)施。
任職要求:
1、崗位要求Hadoop和FLink必須精通,目前使用技術(shù)棧是doris(了解clickhouse等其他實(shí)時(shí)數(shù)倉(cāng)也可以)
2、熟悉使用Hadoop,Spark,HBase,doris等大數(shù)據(jù)技術(shù)平臺(tái),有大規(guī)模數(shù)據(jù)日志處理經(jīng)驗(yàn)者優(yōu)先
3、熟悉數(shù)據(jù)分析、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、分布式計(jì)算至少某一方面,有較深的理論研究和實(shí)踐經(jīng)驗(yàn)優(yōu)先
4、具有Hadoop/Spark,以及kafka、flume、hbase、hive、zookeeper等大數(shù)據(jù)生態(tài)圈實(shí)際開發(fā)經(jīng)驗(yàn)。深入了解Hadoop/Spark生態(tài)圈產(chǎn)品的工作原理及應(yīng)用場(chǎng)景
5、掌握主流數(shù)據(jù)庫(kù)技術(shù)(如hbase、MySQL、MangoDB、elasticsearch等),并熟悉SQL開發(fā)
6、具備大數(shù)據(jù)基礎(chǔ)平臺(tái)搭建和運(yùn)維能力 。