职位&公司对比

职位详情

• 北京
• 10年以上
• 本科

• 要求数据开发经验
• 数据仓库开发经验
• 数据平台开发经验
• Flink
• Kafka
• Hive
• Spark
• 实时数仓开发经验
• 非外包类
• Java
• Python
• Shell
• Scala
• 实时计算

岗位职责 1.牵头实时计算开发团队的组建、管理和人才培养，持续提升实时开发的专业能力和核心竞争力; 2.设计并实现基于大数据平台(如Apache Flink、Spark streaming、kafka等)的实时流处理系统，负责从海量数据源中实时采集、清洗、转换和聚合数据，满足业务对实时计算的需求 3.深入理解业务场量，设计和优化高性能、高可用、低延迟的实时流处理架构，提升数据处理效率与進确性直聘，并确保系统的稳定性和扩展性: 4.研究和引入前沿的大数据实时处理技术，解决实时计算中的复杂问题，包括但不限于数据一致性、分布式事务、Exact1y-0nce语义保证等; 5.与数据仓库团队紧密协作，构建和完善数据湖体系，实现批处理与实时处理的无缝对接，满足多样化数据分析需求; 6.负责实时流处理相关项目的技术选型、方kanzhun案设计、代码编写、性能调优以及文档编写等工作，并为团队提供技术支持与指导 任职资格： 1.计算机科学或相关领域本科及以上学历，10年以上大数据处理经验，5年以上实时流处理系统的设计和开发经验; 2.精通Java/Scala等至少一种编程语言，熟悉Flink、Spark 来自BOSS直聘Stream直聘ing、Storm等主流实时流处理框架，有大规模生产环境部署实施经验 3.熟悉Kafka、Rabbitmi0等消,息队列系统，了解Hadopp、HBase、Redis等相关大数据存储和计算组件； 4.具备扎实的分布式系统理论基础，对CAP原理、BASE理论、一致性协议等有深入理解和实践应用 5.出色的问题分析和解决能力，具备良好的沟通能力和团队合作精神，能够在复杂环境下推动项目的落地执行 6.对实时计算、流式计算等领域的新技术保持敏感度和持续学习的热情，具有良好的创新意识和独立研究能力。