職位描述
FlinkSpark
1、設(shè)計(jì)并落地湖倉(cāng)一體技術(shù)架構(gòu)，支持 ?PB級(jí)數(shù)據(jù)存儲(chǔ)?和毫秒級(jí)實(shí)時(shí)分析?，融合數(shù)據(jù)湖（Hudi/Iceberg）與數(shù)據(jù)倉(cāng)庫(kù)（Doris/ClickHouse）能力。
2、解決高并發(fā)寫(xiě)入?（如每秒百萬(wàn)級(jí)訂單）、?ACID事務(wù)一致性?和?跨引擎查詢優(yōu)化?等核心問(wèn)題。
3、規(guī)劃 ?容災(zāi)多活架構(gòu)?，支持跨地域數(shù)據(jù)同步與故障自動(dòng)切換（如基于Flink CDC的實(shí)時(shí)同步）。
4、評(píng)估并落地實(shí)時(shí)湖倉(cāng)技術(shù)棧（如Flink+Hudi/Iceberg），優(yōu)化存儲(chǔ)與計(jì)算性能?。
5、構(gòu)建全鏈路監(jiān)控工具，保障系統(tǒng)高可用性，主導(dǎo)技術(shù)評(píng)估與性能優(yōu)化?。
6、構(gòu)建?數(shù)據(jù)血緣?和質(zhì)量監(jiān)控?體系，保障數(shù)據(jù)一致性（如通過(guò)Great Expectations）。
7、主導(dǎo)技術(shù)規(guī)范制定，推動(dòng)云原生?（K8s+Serverless）和存算分離? 架構(gòu)演進(jìn)。
8、跟蹤?向量化計(jì)算?、?大模型數(shù)據(jù)湖?（如LlamaIndex集成）等前沿技術(shù)。
2、解決高并發(fā)寫(xiě)入?（如每秒百萬(wàn)級(jí)訂單）、?ACID事務(wù)一致性?和?跨引擎查詢優(yōu)化?等核心問(wèn)題。
3、規(guī)劃 ?容災(zāi)多活架構(gòu)?，支持跨地域數(shù)據(jù)同步與故障自動(dòng)切換（如基于Flink CDC的實(shí)時(shí)同步）。
4、評(píng)估并落地實(shí)時(shí)湖倉(cāng)技術(shù)棧（如Flink+Hudi/Iceberg），優(yōu)化存儲(chǔ)與計(jì)算性能?。
5、構(gòu)建全鏈路監(jiān)控工具，保障系統(tǒng)高可用性，主導(dǎo)技術(shù)評(píng)估與性能優(yōu)化?。
6、構(gòu)建?數(shù)據(jù)血緣?和質(zhì)量監(jiān)控?體系，保障數(shù)據(jù)一致性（如通過(guò)Great Expectations）。
7、主導(dǎo)技術(shù)規(guī)范制定，推動(dòng)云原生?（K8s+Serverless）和存算分離? 架構(gòu)演進(jìn)。
8、跟蹤?向量化計(jì)算?、?大模型數(shù)據(jù)湖?（如LlamaIndex集成）等前沿技術(shù)。
1、本科及以上學(xué)歷，要求5年及以上開(kāi)發(fā)經(jīng)驗(yàn)。
2、精通Java/Scala/Python，熟悉Spring Cloud、分布式事務(wù)及JVM調(diào)優(yōu)?。
3、熟悉HDFS、Kafka、OLAP引擎（Doris/Presto）及容器化技術(shù)（Docker/K8s）?。
4、熟悉Flink/Spark（流批一體）、Doris/ClickHouse（OLAP）。
5、熟悉Airflow/DolphinScheduler、K8s容器化部署。
6、熟悉CAP理論、一致性協(xié)議（Raft/Paxos）、JVM調(diào)優(yōu)。
7、跨團(tuán)隊(duì)協(xié)作能力，主導(dǎo)技術(shù)規(guī)范制定與團(tuán)隊(duì)技術(shù)提升?。
8、有衛(wèi)星業(yè)務(wù)系統(tǒng)、工業(yè)業(yè)務(wù)系統(tǒng)或AI Agent項(xiàng)目經(jīng)驗(yàn)?為加分項(xiàng)。
9、主導(dǎo)過(guò) ?10+人技術(shù)團(tuán)隊(duì)?或千萬(wàn)級(jí)用戶系統(tǒng)?架構(gòu)設(shè)計(jì)優(yōu)先。
2、精通Java/Scala/Python，熟悉Spring Cloud、分布式事務(wù)及JVM調(diào)優(yōu)?。
3、熟悉HDFS、Kafka、OLAP引擎（Doris/Presto）及容器化技術(shù)（Docker/K8s）?。
4、熟悉Flink/Spark（流批一體）、Doris/ClickHouse（OLAP）。
5、熟悉Airflow/DolphinScheduler、K8s容器化部署。
6、熟悉CAP理論、一致性協(xié)議（Raft/Paxos）、JVM調(diào)優(yōu)。
7、跨團(tuán)隊(duì)協(xié)作能力，主導(dǎo)技術(shù)規(guī)范制定與團(tuán)隊(duì)技術(shù)提升?。
8、有衛(wèi)星業(yè)務(wù)系統(tǒng)、工業(yè)業(yè)務(wù)系統(tǒng)或AI Agent項(xiàng)目經(jīng)驗(yàn)?為加分項(xiàng)。
9、主導(dǎo)過(guò) ?10+人技術(shù)團(tuán)隊(duì)?或千萬(wàn)級(jí)用戶系統(tǒng)?架構(gòu)設(shè)計(jì)優(yōu)先。
查看全部
工作地點(diǎn)
上海松江區(qū)G60科創(chuàng)云廊-7號(hào)樓1
相似職位
- 大數(shù)據(jù)開(kāi)發(fā)工程師1-2萬(wàn)·13薪
上海 - 黃浦
上海奕盛軟件有限公司 - 數(shù)據(jù)開(kāi)發(fā)運(yùn)維工程師1.4-1.5萬(wàn)
上海 - 楊浦
中電金信軟件有限公司 - Flink實(shí)時(shí)數(shù)據(jù)開(kāi)發(fā)工程師1.4-1.7萬(wàn)
上海 - 靜安
上海微創(chuàng)軟件股份有限公司 - Data Scientist - LLM Applications1.5-3萬(wàn)
上海 - 閔行
液化空氣(中國(guó))投資有限公司 - 數(shù)據(jù)開(kāi)發(fā)工程師-中臺(tái)1.7-1.9萬(wàn)
上海 - 浦東
深圳市睿服科技有限公司 上海 - 浦東
中芯國(guó)際集成電路制造(上海)有限公司
熱門(mén)公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國(guó)一汽招聘
- 北京汽車招聘
- 蔚來(lái)招聘
- 東風(fēng)汽車招聘
- 長(zhǎng)城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長(zhǎng)鑫存儲(chǔ)招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- 海康威視招聘
- 寧德時(shí)代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動(dòng)招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國(guó)移動(dòng)招聘
- 中國(guó)聯(lián)通招聘
- 中國(guó)電信招聘
- 中糧集團(tuán)招聘
- 國(guó)藥控股招聘
- 中廣核招聘
- 中國(guó)船舶招聘
- 強(qiáng)生中國(guó)招聘
- 匯豐中國(guó)招聘
- 宜家招聘
- 立邦中國(guó)招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
錢(qián)佳杰/招聘經(jīng)理
昨日活躍立即溝通
上海信息人才服務(wù)有限公司
上海信息人才服務(wù)有限公司成立于2002年09月28日,注冊(cè)地位于上海市靜安區(qū)華盛路76-82號(hào)5層05室。為A股上市國(guó)企上海外服集團(tuán)全資子公司，企業(yè)性質(zhì)為國(guó)企。是一家專注于IT領(lǐng)域?qū)I(yè)從事IT人力服務(wù)行業(yè)的國(guó)有企業(yè)。
公司主頁(yè)