职位&公司对比
职位详情
- 上海
- 不限
- 本科
- Java
- Python
- Shell
- DataX
- Streaming
Experience • You have 4 to 7 years of experience as a data engineer in an international context with at least 2 years streaming data development experience. • Minimum of 3 years of experience as a data engineer with deep hands-on experience on AliCloud (AWS or GCP is a plus). Skills required • Extensive hands-on experience with AliCloud tech stack for big data, such as DataX, LogHub, Streaming Compute, RDS, PolarDB, Cloud-based NoSQL DB, MaxCompute etc. • Hands on development experience in Java, Python and Shell is expected. • Experience working with APIs is highly desirable. • Good understanding of data dimensional modeling methodology. • Good understanding of DA来自BOSS直聘G scheduling and monitoring (Skills on Airflow or Datadog is a plus). • Comfortable and con直聘fident when speaking with internal clients as a technical expert and able to translate technical concepts into来自BOSS直聘 simple terminology for internal clients of various levels. • Ability to lead and complete projects independently, as well as be able to delegate tasks to others. Be proactive and manage expectations. Adjusbosst to shifting priorities in a fast-paced, dynamic enviro来自BOSS直聘nment. • Demonstrated ability to develop and manage effective working relationships within an organization and across multiple clients and/or stakeholders. • Fluent in spoken and written English is a must, English being the working standard business language. • Strong problem-solving skills. • We expect you are familiar with Agile methodologies such as Scrum and Kanban. • Facilitate the team’s progress toward team goals.
职位详情
- 上海
- 5-10年
- 硕士
- Java
- C++
- Python
职位描述: 1. 基于 Hadoop、Spark、Flink、Hive、HBase、Kafka、来自BOSS直聘TensorFlow 等开源大数据组件,构建下一代云原生大数据平台。 2. 结合 Hudi/Iceberg/DeltaLake 等湖存储格式,满足大数据 & AI 计算对数据湖存储的性能、功能和管理要求。 3. 负责数据湖元数据管理、安全管理和数据治理等方面产品能力的技术开发。 4. 负责数据迁移、数据校验比对来自BOSS直聘等数据湖迁移能力的技术开发。 5. 负责对接计算平台各计算产品和开源产品。 6. 探索和对标业界领先的数据湖管理技术,推进创新并落地。 职位要求: 1. 计算机、通信、数学等相关专业,具备良好的计算机技术基础。 2. 熟悉 C++/Java/Rust/Go/Python 等至少一种编程语言,具备扎实的数据结构和算法基础。 3. 熟悉存储系统的关键特性和实现原理,有分布式存储的使用和开发的经验有复杂系统架构设计开发经验。 4. 对分布式系统和云原生有较深的理解和研究BOSS直聘,在开源大数据生态领域有 3 年以上经验积累。 5. 具备很强的责任意识,自驱力,良好的沟通和团队协作能力,做事主动积极,勇于挑战高难度工作。 6. 良好的沟通、协调与BOSS直聘逻辑思维能力,具有很强的分析问题和解决问题的能力,对解决具有挑战性问题充满激情 7. 了解业内实践和趋势,有较好的前瞻性。具有较强的自主学习能力,具备良好的分析问题和解决问题的能力。
技能解析
暂无识别出相关技能要求
技能解析
- 元数据管理
- 编程语言
- 分布式存储
- 架构设计
- 分析问题
- 技术开发
- 分析问题和解决问题的能力
- 团队协作
- 开发经验
- 团队协作能力
- 安全管理
- 逻辑思维
- 良好的分析
- 设计开发经验
- 数据管理
- 解决问题的能力
- 数据结构和算法
- 系统架构设计
- 设计开发
- 解决问题
- 数据结构和算
- 逻辑思维能力
- 系统架构
- 数据结构
- 协作能力
- 算法基础
- 数据治理
- 分布式系统
- 好的沟通
- 学习能力
数据来自CSL职业科学研究室
工作时间
公司福利
- 五险一金
- 补充医疗保险
- 定期体检
- 年终奖
- 股票期权
- 带薪年假
- 餐补
- 交通补助
- 住房补贴
公司福利
- 节日福利
- 免费班车
- 餐补
- 带薪年假
- 绩效奖金
- 年终奖
- 定期体检
- 五险一金
备注
职位发布者未明确表明公司信息,具体可咨询职位发布人进行确认。