职位&公司对比

招聘中

大数据开发工程师

-K·薪
某500强上市公司
招聘中
  • 互联网
  • 不需要融资

职位详情

  • 上海
  • 不限
  • 本科
  • Java
  • Python
  • Shell
  • DataX
  • Streaming

Experience • You have 4 to 7 years of experience as a data engineer in an international context with at least 2 years streaming data development experience. • Minimum of 3 years of experience as a data engineer with deep hands-on experience on AliCloud (AWS or GCP is a plus). Skills required • Extensive hands-on experience with AliCloud tech stack for big data, such as DataX, LogHub, Streaming Compute, RDS, PolarDB, Cloud-based NoSQL DB, MaxCompute etc. • Hands on development experience in Java, Python and Shell is expected. • Experience working with APIs is highly desirable. • Good understanding of data dimensional modeling methodology. • Good understanding of DA来自BOSS直聘G scheduling and monitoring (Skills on Airflow or Datadog is a plus). • Comfortable and con直聘fident when speaking with internal clients as a technical expert and able to translate technical concepts into来自BOSS直聘 simple terminology for internal clients of various levels. • Ability to lead and complete projects independently, as well as be able to delegate tasks to others. Be proactive and manage expectations. Adjusbosst to shifting priorities in a fast-paced, dynamic enviro来自BOSS直聘nment. • Demonstrated ability to develop and manage effective working relationships within an organization and across multiple clients and/or stakeholders. • Fluent in spoken and written English is a must, English being the working standard business language. • Strong problem-solving skills. • We expect you are familiar with Agile methodologies such as Scrum and Kanban. • Facilitate the team’s progress toward team goals.

职位详情

  • 上海
  • 5-10年
  • 硕士
  • Java
  • C++
  • Python

职位描述: 1. 基于 Hadoop、Spark、Flink、Hive、HBase、Kafka、来自BOSS直聘TensorFlow 等开源大数据组件,构建下一代云原生大数据平台。 2. 结合 Hudi/Iceberg/DeltaLake 等湖存储格式,满足大数据 & AI 计算对数据湖存储的性能、功能和管理要求。 3. 负责数据湖元数据管理、安全管理和数据治理等方面产品能力的技术开发。 4. 负责数据迁移、数据校验比对来自BOSS直聘等数据湖迁移能力的技术开发。 5. 负责对接计算平台各计算产品和开源产品。 6. 探索和对标业界领先的数据湖管理技术,推进创新并落地。 职位要求: 1. 计算机、通信、数学等相关专业,具备良好的计算机技术基础。 2. 熟悉 C++/Java/Rust/Go/Python 等至少一种编程语言,具备扎实的数据结构和算法基础。 3. 熟悉存储系统的关键特性和实现原理,有分布式存储的使用和开发的经验有复杂系统架构设计开发经验。 4. 对分布式系统和云原生有较深的理解和研究BOSS直聘,在开源大数据生态领域有 3 年以上经验积累。 5. 具备很强的责任意识,自驱力,良好的沟通和团队协作能力,做事主动积极,勇于挑战高度工作。 6. 良好的沟通、协调与BOSS直聘逻辑思维能力,具有很强的分析问题和解决问题的能力,对解决具有挑战性问题充满激情 7. 了解业内实践和趋势,有较好的前瞻性。具有较强的自主学习能力,具备良好的分析问题和解决问题的能力。

技能解析

    暂无识别出相关技能要求

    技能解析

    专有技能
    • 元数据管理
    • 编程语言
    • 分布式存储
    • 架构设计
    • 分析问题
    • 技术开发
    • 分析问题和解决问题的能力
    • 团队协作
    • 开发经验
    • 团队协作能力
    • 安全管理
    • 逻辑思维
    • 良好的分析
    • 设计开发经验
    • 数据管理
    • 解决问题的能力
    • 数据结构和算法
    • 系统架构设计
    • 设计开发
    • 解决问题
    • 数据结构和算
    • 逻辑思维能力
    • 系统架构
    • 数据结构
    • 协作能力
    • 算法基础
    • 数据治理
    • 分布式系统
    • 好的沟通
    • 学习能力

      数据来自CSL职业科学研究室

      工作时间

      上午09:00   -   下午06:00
      双休弹性工作

      公司福利

      • 五险一金
      • 补充医疗保险
      • 定期体检
      • 年终奖
      • 股票期权
      • 带薪年假
      • 餐补
      • 交通补助
      • 住房补贴

      公司福利

      • 节日福利
      • 免费班车
      • 餐补
      • 带薪年假
      • 绩效奖金
      • 年终奖
      • 定期体检
      • 五险一金

      备注

      职位发布者未明确表明公司信息,具体可咨询职位发布人进行确认。

      更新于 2025-01-08