职位&公司对比

职位详情

• 上海
• 3-5年
• 本科

• Java
• Spring
• HBase
• Spark
• Hadoop

岗位职责： 1、大数据ETL任务调度平台设计： 负责设计和开发高效、可靠的大数据ETL任务调度平台。 确保调度平台能够合理高效地分配和管理资源，优化任务执行时间和系统性能。 2、调度链路管理： 设计和实现调度链路，确保数据处理过程中的血缘关系清晰可追溯。 维护和优化数据血缘管理系统，确保数据流动的透明性和可追溯性。 3、DataOps流程开发： 参与DataOps流程的设计和实施，确保开发流程符合DataOps的最佳实践。 自动化数据管道的构建、测试、部署和监控，提升数据处理的效率和质量。 4、技术研究与创新： 跟踪大数据技术的发展趋势，持续优化和创新平台功能。 参与技术难题的攻关，提升平台的稳定性和性能。 5、团队协作与指导： 与数据工程师、数据科学家和其他相关团队紧密合作，确保项目顺利进行。 指导和培训初级开发人员，提升团队整体技术水平。 任职要求： 1、直聘技术技能 精通Hadoop、Spark、Flink等大数据处理框架。 熟悉ETL工具（如Apache NiFi、Talend、Informatica等）的使用和优化 熟悉调度系统（如Apache airflow, Apache DolphineScheduler, Prefect, Dagster等）的设计和实现。来自BOSS直聘 熟悉数据血缘管理工具（如Apache Atlas、Amundsen, open-metadata等）。 熟悉DataOps理念和工具（如Jenkins、GitLbossab CI/CD、Docker、Kubernetes等）。 2、编程语言： 精通Java、Scala、Python等编程语言，具备良好的代码编写和优化能力。 3、其他要求： 具备优秀的分析和解决问题的能力，能够快速定位和解决系统问题。 具备良好的沟通和团队协作能力，能够与跨部门团队有效合作。 具备较强的学习能力和创新意识，能够不断提升自身技术水平。