数据中台开发工程师
相关职位简介
- 来源:安徽凌慧信息科技有限公司
数据中台开发工程师
任职资格:1.本科及以上学历,有1年以上大数据项目开发或运维经验;2.熟练掌握java/Python,熟悉Linux环境;3.熟悉掌握Hadoop.Spark.Hbae.Hive.Zookeeper.MapReduce等分布式存储和分布式计算技术;4.熟练使用阿里云数据中台产品DataWork.MaxCompute等;5.熟悉使用ETL开发流程和开发工具,有数据仓库开发经验者优先;6.具备高扩展性.高性能和分布式系统的实践经验;岗位职责:1.负责阿里云数据中台的数据产品开发工作;2.协助客户完成大数据项目的立项.实施及相关文档的编写;3.听从客户安排,协助处理现场问题;
所需技能: Python、Java、linux、spark、hbase、hive、阿里云
- 来源:紫东信息科技(苏州)有限公司
数据中台开发工程师
工作内容:1.负责公司数据业务平台或者数据中台产品的需求规划和设计,并组织撰写相应产品文档和标准;2.与公司内部各产品线深入沟通并对接其数据需求,深入理解业务数据,规划和完善数据业务平台;3.负责公司数据业务平台产品在公司内部的宣贯和推广,为各产品线提供精准稳定的数据服务。任职要求:1.具备扎实的数据结构.编码能力,精通Java语言,前端框架Vue,熟悉Springboot.MyBati等常用Java开发框架与组件2.有丰富的小程序项目开发经验3.具有2年以上全栈应用开发经验,有独立完成或主要负责的上架产品4.计算机或相关专业本科及以上学历
所需技能: SQL、Java、Spark、Hadoop、FineReport(帆软)
- 来源:成都筑蜂巢科技有限公司
数据中台开发工程师
职责描述:i.参与数据中台架构设计,涉及离线.实时.算法全套解决方案ii.深刻理解业务需求,完善提高产品品质,不断提升用户体验,具有对答产品有做精做细的精神。b.任职要求:i.计算机相关专业本科及以上学历;ii.具备扎实的Java语言基础;熟悉pringboot/cloud相关框架;iii.有相关大数据中台开发经验,任务调度,数据治理,元数据,数据标准,数字资产等;iv.熟悉ZooKeeper/kafka/Hadoop/HBae/Flume/Redi等平台者优先;
所需技能: Java、Hadoop、Kafka、Flume、Zookeeper
- 来源:筋斗云(深圳)实业有限公司
数据中台开发工程师
岗位职责1.参与公司数据中台建设,负责数据中台(包括数据治理,数据架构等技术领域)的产品设计开发工作;2.负责爬虫架构的设计与开发;任职要求1.3年以上大数据开发相关工作经验,熟练使用java;2.熟悉myql.mongodb.e.redi.qlerver等常用数据库的基本操作;3.熟练掌握hadoop/park/hive/flink/Kafka等;4.有爬虫项目开发经验5.有大数据ETL开发经验;6.有数据治理.大数据集群搭建相关工作经验者优
所需技能: Spark、Hadoop、Kafka、Flink
- 来源:广州宸祺出行科技有限公司
数据中台开发工程师
岗位职责:1.负责企业级数据中台的后台建设,包括作业调度管理.指标管理.模型管理.主数据管理.数据质量.数据地图等模块建设;2.根据产品需求,完成技术方案设计,并高效实现交付;3.通过对业务的理解,实现对现有产品和系统的改进和优化;4.负责技术预研和技术难点攻关,保障中台系统可用性.稳定性.可扩展性。职位要求:1.计算机等相关专业,本科或以上学历2.熟练使用Java语言,对CC++.Python.Javacript.JSON等熟悉更佳;3.熟练使用SpringBoot.SpringCloud.Mybati.Docker等主流技术栈,至少2年以上实际项目开发经验;4.熟练使用MySQL.Redi等数据库,具备复杂SQL编写能力与调优经验,熟悉Greenplum.PotgreSQL等OLAP数据库;5.从事过数据中台的系统建设优先,要求对工具平台搭建有浓厚兴趣,对数据中台有积极的理解;6.熟悉数据采集.数据建模.数据治理.数据服务.数据可视化等数据仓库建设理论优先;7.熟悉一种分布式任务调度系统优先,例如Azkaban.XXL-Job.Airflow.DolphinScheduler等;8.良好的沟通能力.团队协作能力,学习能力强,勇于挑战自己。
所需技能: SQL、Python、Java、Spark、Hadoop、Kafka
- 来源:元素征信有限责任公司
数据中台开发工程师
职位描述:1.负责公司大数据平台建设,设计高可用.灵活可扩展的平台架构。2.负责多数据源和异构数据的清洗.交换.同步系统开发。3.负责大规模数据的批量处理.实时处理系统的开发。4.负责设计.开发.优化数据接入.数据(数仓)存储.数据计算服务框架。5.负责对业务的数据接口开发。6.负责优化分布式框架,解决大并发下的各种问题。任职要求1.有Hive,Clickhoue,Preto,Impala,Airflow,Kafka,Datax,Sqoop,Spark,Flink,Kylin,Dori等两种以上1年以上使用和优化经验;2.精通Java,具备较强的分布式架构和研发实现能力;3.熟悉分布式基本原理,对高可靠,高并发,高吞吐系统特性有一定理解;4.参与或主导过大型数据平台建设项目,对大数据平台有一定的整体感知和把控能力;符合以下条件优先1.有数据平台开发经验者优先2.有阅读过并了解任意大数据框架源码者优先。
所需技能: Spark、Kafka、Impala、Sqoop、Presto、Kylin、Flink、DataX
- 来源:径赢网络科技(上海)有限公司
数据中台开发工程师
岗位职责:1.负责数据中台及相关产品的规划,架构和落地实现,建立数据驱动的产品运行体系,解决各种数据问题,构建数据API应用平台2.深度理解各个业务方向数据诉求,负责数据中台体系建设,构建数据基础设施和数据应用体系3.负责在数据方向遇到的技术问题攻坚,开放性的解决数据安全.数据存储.数据传输.数据计算.数据展示和数据分析等多维度的数据问题4.面向商业化在各个方向的技术挑战,前瞻性的建设数据中台,高效赋能业务5.对大数据好机器学习等相关前沿技术记性预研,负责数据中台技术框架的选型和技术难点公关6.负责业务流程梳理以及相关对外流程梳理和协同7.团队的建设,人员管理和培养岗位要求:1.统招本科或以上学历,计算机相关专业,6年以上数据研发领域经验.3年以上大数据项目经验2.有CDP数仓建设和维护经验3.精通数据标准,精通大数据系统方法论,熟悉大数据生态,有一定的大数据项目建设经验4.熟悉数据领域,尤其是企业级的数据仓库.数据传输.数据计算的最佳实践,优秀的架构设计能力和代码品位5.熟练掌握关系型数据的设计以及Hadoop生态的应用开发,熟悉熟悉Hadoop分布式计算框架(HDFS.Hbae.Hive.Mapreduce.Storm/Spark.Flink.kudu.ES/.clickhoue等)6.编程能力扎实,熟悉Java/Python中的一种,具有良好的数据结构.算法.操作系统等技术机基本知识7.熟悉数据质量.元数据管理.数据安全管理8.良好的产品嗅觉,能从技术题角度解决业务问题,能在复杂问题中快速找到解决方案,在方案底层设计和推进落地能力方面有过卓越表现案例9.对行业主流产品的技术方案有深入见解,有至少一个成熟数据产品的研发管理经验,有大型互联网公司数据中台建设者优先10.具有良好的沟通和协作能力,项目管理能力,较强的学习和总结能力
所需技能: CDP、Java
- 来源:上海蓬海涞讯数据技术有限公司
数据中台开发工程师
工作职责:1.负责数据中台的技术选型.应用设计与开发;2.负责并主导中台规范的建立;3.负责医疗业务的分析和框架设计;4.负责系统平台层面的设计与开发;5.负责关系型.非关系数据库的设计和优化;6.带领和指导团队完成所有技术实现;7.完成部门安排的其他研发相关工作。任职要求:1.计算机或相关专业本科及以上学历;2.8年及以上JAVA或数据库开发经验;3.2年及以上团队管理经验;4.精通Hadoop生态,精通主流关系型数据库(如MSSQL.MySQL.PotgreSQL.Greenplum等),熟悉HDFS.HBae.Hive.Spark。5.优秀的数据结构和算法能力,优秀的代码实现能力;6.优秀的沟通能力和技术团队管理能力;7.具有责任心,对工作认真负责;
所需技能: Java、Spark、HDFS、HIVE、数据中台、Hadoop
- 来源:北京多来点信息技术有限公司
数据中台开发工程师
职责描述:1.负责数据开发平台.数据资产平台.机器学习平台的开发与建设;2.负责大数据平台的稳定.安全.运维及优化;3.参与大数据相关技术的调研与调优,找到最合适业务发展的存储.计算解决方案;4.参与开发流程的讨论与优化,负责核心代码编写.代码审核和重构;任职要求:1.本科以上学历,计算机相关专业,基础扎实,3年以上工作经验,2年以上大数据相关开发经验;2.熟悉Linux,熟悉Java/Scala/Python语言中的一种或多种;3.熟悉大数据领域的技术栈,如Spark/Flink/Kafka/ES等,尤其对park执行原理及使用调优有深入见解者优先;4.具有J2EE研发经验.熟悉SpringCloud全家桶体系优先;5.有DevOp使用维护经验者优先;6.有数据平台工作经历者优先。
所需技能: Spark、Java、Flink、Presto
- 来源:江苏鑫数聚网络科技有限公司
数据中台开发工程师
岗位职责:1.了解业务数据需求,搭建业务数据体系,持续解决业务问题;2.从系统应用的角度,利用数据挖掘/统计学习的理论和方法解决实际问题;3.从数据中挖掘潜在的问题和商业价值,规划.设计基于挖掘模型的解决方案;4.负责数据处理工作(数据采集.清洗.加工.集成等);5.负责数据质量检验和监控;6.负责使用Java.大数据技术.框架.产品等能力建设数据智能平台,为各业务提供高性能.稳定.可扩展性好.操作简易的数据服务;岗位要求:1.全日制本科学历及以上,计算机.数据等相关专业;2.三年以上Java和大数据相关经验,对大数据平台具有良好的认识,其中参与过开源社区贡献最好;3.熟练设计数据模型.ETL设计.Cube多维建模.OLAP开发.报表开发等;4.精通hadoop.hive.hbae.park.flink.kylin.kafka.e.redi.clickhoue.kafka.dolphincheduler等的架构.底层原理和技术细节,并有丰富开发.调优.二开.维护经验;5.精通编程语言Java;6.深入研究过park.flink.hadoop.dolphincheduler等源代码者优先;7.工作认真,负责,具有良好的团队合作精神和分析解决问题能力,爱钻研技术克服困难,勇于接受挑战;
所需技能: 数据仓库、ETL、数据挖掘
- 来源:中移系统集成有限公司
数据中台开发工程师
工作内容1.完成产品开发工作2.完成产品故障诊断和恢复3.编写工作相关文档4.协助产品测试,协助设计产品方案5.完成上级交办任务任职要求1.大学本科,计算机相关专业2.3年以上java开发相关经验3.了解SpringCloud.Dubbo至少一种微服务框架,了解docker,使用过Zuul.Eureka.Redi.Kafaka.ELK.Hytrix等相关技术4.精通devop5.掌握MySQL.Oracle.PotgreSQL.OceanBae至少一种数据库开发经验6.有Python开发.大数据开发经验者优先
所需技能: Java、Python、分布式技术、SQL
- 来源:江苏润和软件股份有限公司
数据中台开发工程师
职责描述:1.参与公司级战略平台研发:数据中台建设,负责数据中台(包括数据治理,数据建模,数据架构等技术领域)的产品规划和设计工作。2.负责重点客户的数据中台交付管理:深入理解资产管理数据业务,分析用户需求,参与编码工作,协调相关团队合作,确保项目的进度和质量。3.为客户需求提炼行业解决方案,从用户角度推动公司技术及产品不断完善和发展。任职要求:1.有Java编码经验2.熟练掌握Hadoop,Spark,Kafka等大数据组件3.至少熟悉一种常见的分布式任务调度框架,例如cronun.Elatic-job.aturn.lt.TBSchedule.xxl-job等4.了解阿里云相关大数据平台产品,例如ODPS,Datawork等5.有数据建模经验者优先5.有大数据ETL开发经验者优先6.有数据挖掘工作经验者优先7.有技术博客等写作经验者优先8.有数据治理相关工作经验者优先
所需技能: ETL、数据挖掘、数据治理、数据架构师
入门书籍
- 数据之巅
- Hadoop权威指南:大数据的存储与分析(第4版)(修订版)(升级版)
- Hive编程指南
职业晋升路径
横向职业发展
职业问答
数据获取
数据清洗
数据可视化
数据分析(描述统计,定义指标,挖掘,建模…)
常用的工具:Excel,PPT,sql,bi 报表工具,Hadoop 生态圈,xmind,Python,spss……
广义来说工具太多了,但是要做的事就这几件,岗位的分支也很多,就题而论,数据开发应该偏后台