日日噜夜夜草|一级黄色录像高清版|调教白富美加勒比久久|亚洲欧洲精品婷婷|日韩综合无码色色|日韩精品一区妖精视频|亚洲无码中文字幕hd|99亚洲思思丝袜|手机看片国产精品大胆亚洲|成人无码视频一区二区在线播放

更新于 10月24日

大數(shù)據(jù)應(yīng)用開發(fā)工程師

1.5-3萬
  • 上海松江區(qū)
  • 5-10年
  • 本科
  • 全職
  • 招1人

職位描述

數(shù)據(jù)架構(gòu)JavaPythonScalaFlinkSparkKafka數(shù)據(jù)湖ClickHouseHDFS
崗位職責(zé)
1、設(shè)計(jì)并落地湖倉一體技術(shù)架構(gòu),支持 ?PB級(jí)數(shù)據(jù)存儲(chǔ)?和毫秒級(jí)實(shí)時(shí)分析?,融合數(shù)據(jù)湖(Hudi/Iceberg)與數(shù)據(jù)倉庫(Doris/ClickHouse)能力。
2、解決高并發(fā)寫入?(如每秒百萬級(jí)訂單)、?ACID事務(wù)一致性?和?跨引擎查詢優(yōu)化?等核心問題。
3、規(guī)劃 ?容災(zāi)多活架構(gòu)?,支持跨地域數(shù)據(jù)同步與故障自動(dòng)切換(如基于Flink CDC的實(shí)時(shí)同步)。
4、評(píng)估并落地實(shí)時(shí)湖倉技術(shù)棧(如Flink+Hudi/Iceberg),優(yōu)化存儲(chǔ)與計(jì)算性能?。
5、構(gòu)建全鏈路監(jiān)控工具,保障系統(tǒng)高可用性,主導(dǎo)技術(shù)評(píng)估與性能優(yōu)化?。
6、構(gòu)建?數(shù)據(jù)血緣?和質(zhì)量監(jiān)控?體系,保障數(shù)據(jù)一致性(如通過Great Expectations)。
7、主導(dǎo)技術(shù)規(guī)范制定,推動(dòng)云原生?(K8s+Serverless)和存算分離? 架構(gòu)演進(jìn)。
8、跟蹤?向量化計(jì)算?、?大模型數(shù)據(jù)湖?(如LlamaIndex集成)等前沿技術(shù)。
職位要求
1、本科及以上學(xué)歷,要求5年及以上開發(fā)經(jīng)驗(yàn)。
2、精通Java/Scala/Python,熟悉Spring Cloud、分布式事務(wù)及JVM調(diào)優(yōu)?。
3、熟悉HDFS、Kafka、OLAP引擎(Doris/Presto)及容器化技術(shù)(Docker/K8s)?。
4、熟悉Flink/Spark(流批一體)、Doris/ClickHouse(OLAP)。
5、熟悉Airflow/DolphinScheduler、K8s容器化部署。
6、熟悉CAP理論、一致性協(xié)議(Raft/Paxos)、JVM調(diào)優(yōu)。
7、跨團(tuán)隊(duì)協(xié)作能力,主導(dǎo)技術(shù)規(guī)范制定與團(tuán)隊(duì)技術(shù)提升?。
8、有衛(wèi)星業(yè)務(wù)系統(tǒng)、工業(yè)業(yè)務(wù)系統(tǒng)或AI Agent項(xiàng)目經(jīng)驗(yàn)?為加分項(xiàng)。
9、主導(dǎo)過 ?10+人技術(shù)團(tuán)隊(duì)?或千萬級(jí)用戶系統(tǒng)?架構(gòu)設(shè)計(jì)優(yōu)先。

工作地點(diǎn)

上海松江區(qū)G60科創(chuàng)云廊(一期)

職位發(fā)布者

李晨/總經(jīng)理

當(dāng)前在線
立即溝通