日日噜夜夜草|一级黄色录像高清版|调教白富美加勒比久久|亚洲欧洲精品婷婷|日韩综合无码色色|日韩精品一区妖精视频|亚洲无码中文字幕hd|99亚洲思思丝袜|手机看片国产精品大胆亚洲|成人无码视频一区二区在线播放

更新于 10月15日

數(shù)據(jù)開發(fā)工程師

1.5-2.5萬

職位描述

數(shù)據(jù)倉庫
負責(zé)通過設(shè)計和實施數(shù)據(jù)倉庫架構(gòu),開發(fā) ETL(Extract Transform Load)流程,構(gòu)建數(shù)據(jù)模型,保障數(shù)據(jù)高效采集、清洗、轉(zhuǎn)換與存儲,為數(shù)據(jù)分析、數(shù)據(jù)應(yīng)用提供穩(wěn)定的數(shù)據(jù)基礎(chǔ),助力企業(yè)實現(xiàn)數(shù)據(jù)驅(qū)動的業(yè)務(wù)發(fā)展。
崗位職責(zé):
1、負責(zé)參與數(shù)據(jù)倉庫架構(gòu)設(shè)計與建模,根據(jù)業(yè)務(wù)需求和數(shù)據(jù)特點規(guī)劃分層架構(gòu)(如ODS、DWD、DWS等),設(shè)計數(shù)據(jù)模型(如星型、雪花模型),并制定數(shù)據(jù)處理與業(yè)務(wù)個性化規(guī)范,保障結(jié)構(gòu)合理性、擴展性和規(guī)范性。
2、負責(zé)數(shù)據(jù)的采集、清洗和預(yù)處理工作,從多種數(shù)據(jù)源(如數(shù)據(jù)庫、日志、API等)進行抽取、去重、錯誤修正與標(biāo)準(zhǔn)化處理,確保數(shù)據(jù)質(zhì)量與可用性。
3、負責(zé)ETL流程的設(shè)計、開發(fā)與維護,制定數(shù)據(jù)抽取策略和轉(zhuǎn)換邏輯,實現(xiàn)數(shù)據(jù)的高效提取、清洗、轉(zhuǎn)換與加載,保障數(shù)據(jù)的準(zhǔn)確性、完整性與一致性。
4、構(gòu)建和維護高效可靠的數(shù)據(jù)管道,實現(xiàn)數(shù)據(jù)從源端到目標(biāo)系統(tǒng)的穩(wěn)定傳輸,優(yōu)化數(shù)據(jù)處理流程,保障實時性與可擴展性,并實施自動化監(jiān)控與故障處理。
5、負責(zé)數(shù)據(jù)倉庫的日常管理、性能監(jiān)控與優(yōu)化,包括索引優(yōu)化、分區(qū)調(diào)整、查詢性能調(diào)優(yōu)等,提升數(shù)據(jù)處理與訪問效率。
6、設(shè)計和開發(fā)數(shù)據(jù)服務(wù)接口(如RESTful API、WebService等),支持業(yè)務(wù)部門與分析團隊的數(shù)據(jù)需求,確保接口穩(wěn)定、安全與易用,并持續(xù)監(jiān)控與優(yōu)化接口性能。
7、參與企業(yè)數(shù)據(jù)平臺(如Hadoop、Spark、Flink等)的部署、維護與優(yōu)化,監(jiān)控資源使用與運行狀態(tài),處理故障與性能瓶頸,推動技術(shù)升級以提升平臺能力。
8、制定數(shù)據(jù)安全與合規(guī)策略,實施數(shù)據(jù)加密、脫敏與權(quán)限控制,確保數(shù)據(jù)在采集、存儲、傳輸和處理過程中的安全性與合規(guī)性,定期開展合規(guī)檢查與整改。
9、協(xié)同業(yè)務(wù)、數(shù)據(jù)分析等部門,理解數(shù)據(jù)需求,提供技術(shù)支持,推動數(shù)據(jù)項目實施,編寫技術(shù)文檔(如數(shù)據(jù)字典、接口文檔、開發(fā)規(guī)范等),并組織技術(shù)分享與知識傳遞。
任職要求:
1、研究生學(xué)歷,數(shù)據(jù)科學(xué)、計算機科學(xué)與技術(shù)、軟件工程、信息管理等相關(guān)專業(yè)。5年及以上大數(shù)據(jù)開發(fā)經(jīng)驗,具備獨立負責(zé)復(fù)雜數(shù)據(jù)項目的能力,有大型數(shù)據(jù)倉庫或大數(shù)據(jù)平臺建設(shè)成功案例者優(yōu)先。
2、熟練掌握至少一門編程語言(如Java、Python、Scala),具備良好的編程規(guī)范與大型項目建設(shè)經(jīng)驗。
3、精通SQL,能編寫復(fù)雜查詢,熟練操作MySQL、PostgreSQL、Oracle等關(guān)系數(shù)據(jù)庫,具備海量數(shù)據(jù)ETL處理能力,熟悉NoSQL及GIS數(shù)據(jù)處理者優(yōu)先。
4、精通Hadoop、Spark、Flink、Kafka、Hive等大數(shù)據(jù)組件,熟悉其架構(gòu)與運行機制,具備ETL開發(fā)及平臺運維能力。
5、熟悉數(shù)據(jù)倉庫理論,掌握維度建模方法,具有元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理等相關(guān)經(jīng)驗,熟悉Hive、Snowflake、Redshift等工具。
6、熟悉Linux系統(tǒng)及常用Shell命令,能運用Shell進行文本處理與系統(tǒng)操作。
7、了解數(shù)據(jù)安全與合規(guī)要求,熟悉數(shù)據(jù)加密、脫敏及訪問控制機制,具備數(shù)據(jù)清洗、指標(biāo)開發(fā)、機器學(xué)習(xí)建模分析能力者優(yōu)先。
8、邏輯清晰,對數(shù)據(jù)敏感,學(xué)習(xí)與溝通協(xié)作能力強。持有大數(shù)據(jù)相關(guān)認(rèn)證者優(yōu)先,如華為HCIA/HCIP-Big Data、Cloudera CCA/CDP、AWS Certified Data Analytics、Google Professional Data Engineer、CDMP(數(shù)據(jù)管理專業(yè)人士認(rèn)證)等國內(nèi)外相關(guān)認(rèn)證。

工作地點

烏魯木齊沙依巴克區(qū)新疆軟件園-B5號樓

入職公司信息

  • 入職公司: 新疆交投科技有限責(zé)任公司
  • 公司地址: 烏魯木齊沙依巴克區(qū)新疆維吾爾自治區(qū)烏魯木齊市沙依巴克區(qū)喀納斯湖北路455號新疆軟件園B5新疆交投科技有限責(zé)任公司
  • 公司人數(shù): 100-299人

認(rèn)證資質(zhì)

  • 人力資源服務(wù)許可認(rèn)證

    人力資源服務(wù)許可證是由國家人力資源與社會保障相關(guān)部門頒發(fā),代表人才經(jīng)紀(jì)人所在企業(yè)可以合法開展人力資源相關(guān)業(yè)務(wù)的資質(zhì)證件。展示該標(biāo)簽代表該企業(yè)發(fā)布此職位時已上傳《人力資源服務(wù)許可證》或《人力資源服務(wù)備案證書》并經(jīng)由平臺審驗通過。

職位發(fā)布者

胡先生/BOSS

三日內(nèi)活躍
立即溝通