职位&公司对比

职位详情

• 上海
• 5-10年
• 本科

• 要求数据开发经验
• Scala
• ETL开发经验
• MySQL/SQL Server
• Kafka
• 实时数仓开发经验
• 非外包类
• 数据平台开发经验
• 数据治理经验
• SQL
• 其他数据开发经验
• Spark
• 数据仓库开发经验
• Oracle
• Python

此岗位需要线下面试 岗位职责： 1.负责公共数据的前期的业务调研，数据调研，设计数据入湖的相关技术方案； 2.负责实时和离线的数据采集、接入、清洗及数据入湖相关的技术开发工作； 3.负责ETL调度任务配置及日常数据运维工作； 4.负责静态图片等非机构化数据的识别，提取和存储方案的开发工作； 技术要求： 1.精通业务建模、数据建模、精通直聘ETL设计开发，具备体系化的数据质量与数据治理相关经验，具备跨域的沟通协调能力； 2.熟悉常用的数据集成工具，比如，ODI、Infor来自BOSS直聘matic直聘a、Kettle，并有实际的项目开发经验； 3. 至少2年以上Hadoop/Spark/Hive/Kafka/Flink/JAVA开发经验，精通Hive SQL，Spark SQL的开发及调优； 4.精通hadoop生态体系，精通sql，熟悉hive,hbase,redis,mysql,oracle,postgresql,sqlserver等数据库； 5.熟练掌握各类大数据处理组件，如sqoop,datax,airflow,dolphinscheduler,flume,kafka,canal等； 6.具有超大规模数据项目，有百万级TPS数据处理经验尤佳； 7.具备一定的Python语言的开发能力为佳； 8.良好的思维逻辑性和语言表达能力，以及良好的项目沟通和协调能力；