职位&公司对比

职位详情

• 深圳
• 3-5年
• 本科

• Java
• Hive
• Spark
• 大数据平台架构经验
• 大数据处理经验
• 金融行业数据相关经验

岗位职责： 1、参与大数据基础能力建设，支撑大数据上层计算系统、业务数据分析决策、计算资源管控等相关场景。 2、加速数据存储与处理应用，利用大数据开源组件技术，优化大规模数据的计算和处理，提升数据储存与计算效率。 3、构建数据同步集成流程，设计和实施数据采集策略，从各种数据源收集数据，确保数据的准确性和完整性。 4、参与建设数据湖体系，设计及实施湖仓一体的数据流式处理模块，强化大数据质量管理体系，持续保障数据质量。 5、参与建设大数据开源组件集成，利用相关技术栈开发大数BOSS直聘据应用的具体功能模块，如数据同步、数据血缘、报表生成等，确保应用的易用性和交互性。 6、与业务部门沟通，理解业务需求和目标，确定大数据基础功能和性能要求，设计满足业务需求的大数据方案，实施落地，促进数据赋能。 任职要求： 1、本科及以上学历，计算机相关专业，3年以上大数据集群组件维护及开发经验，较好的业务理解和沟通能力，具备金融业务知识优先； 2、熟练掌握 Hadoop、Spark、Hive、Flink、Doris等大数据技术栈。熟悉分布式系统原理和架构，具备系统性能优化和故障排除能力。 3、拥有一定的大数据集群运维管理实施经验，熟悉开源组件集成流程。对Yarn、HDFS、RSS等数据存储和计算处理管控有深入理解，了解对常用shell命令操作。 4、熟练使用Java并具备相关开源技术使用经验：Spring Cloud、Spring Boot、Mybatis、Redis 、Kafka等。 5、能够根据业务数据特点，设计合理的大数据组件来自BOSS直聘及相关功能模块，包括数据流向、应用分析等。 6、快速学习能力，对新技术和新趋势保持敏锐的洞察力，能够快速学习和应用新知识。具备优秀的团队协同能boss力，能够与不同团队成员有效沟通协作。