大数据平台研发工程师

相关职位简介

• 来源：深圳依时货拉拉科技有限公司

  大数据平台研发工程师

  职位描述：参与大规模企业级大数据平台的系统研发和维护相关工作，主要包含以下两个方向：1.平台系统：包含实时和离线数据研发平台/分布式工作调度系统/数据治理平台/数据集成平台等。2.基础架构：基于开源Hadoop生态构建的大数据基础架构，包括但是不限于HDFS.MapReduce.Yarn.Hive.Flink,Spark.OLAP(Clickhoue/Druid/Dori/Kylin)等。职位要求：1.计算机.软件工程或相关专业，编程能力强悍者专业可放开；2.扎实的计算机理论基础，包括操作系统.计算机网络.算法和数据结构.数据库等；3.熟悉linux开发环境，熟悉至少一门编程语言，如java.hell.python等；4.对数据敏感，喜欢探索未知事物。在这里你会学习到：1.业界一线互联网企业大数据平台建设实践经验。2.大规模分布式系统(存储/资源管理/计算框架等)原理和应用3.成熟的研发体系和SRE体系。

  所需技能： Python、Shell、Spark、Hadoop、HDFS、MapReduce、Yarn、Kylin

• 来源：上海基分文化传播有限公司

  大数据平台研发工程师

  工作职责:1.负责基于Hadoop开源系统的大数据平台设计.开发.维护。2.开发统一平台，负责任务调度.资源分配.抽象元数据.自动优化.数据生命周期等等。职位要求：1.本科及以上学历（985.211优先），1年以上大数据平台研发经验，有名企背景优先。2.具有扎实的编程功底，熟悉常用的算法和数据结构，掌握Java/Python/Scala/Golang等一种以上语言的开发能力。3.熟悉Linux系统，精通一门脚本语言(Shell/Perl/Python等)4.熟悉开源分布式计算/存储相关技术，包括Hadoop.HBae.Hive.Spark.Preto.Kafka.Caandra.ES.Flink.K8S等。5.独立，负责，团队沟通协作，技术意识，自驱驱他。

  所需技能： 数据平台开发

• 来源：行吟信息科技（上海）有限公司

  大数据平台研发工程师

  工作职责：1.面向PB级超大规模数据问题，每天处理百亿增量数据2.负责小红书内部大数据平台的架构设计与实现3.负责小红书各类计算引擎的维护.优化，包括但不限于Hive.Preto.SparkSQL4.负责新兴技术方向的探索与落地职位要求：1.扎实的计算机基础知识，包括但不限于数据结构.计算机网络.操作系统.编译原理2.熟练使用至少一种服务端语言，如Java/C++/Scala，并乐于学习其他编程语言3.了解linux操作系统，并能在linux环境中进行日常开发工作4.对大数据生态有了解的加分，如Hadoop.Preto.Spark等5.乐于学习新知识，接受新挑战，面对未知问题具有探索精神6.良好的沟通能力和团队合作意识

  所需技能： 数据仓库、Scala、Hive、分布式技术、数据结构、Hadoop、Spark、HIVE

• 来源：成都攸优企业管理咨询有限公司

  大数据平台研发工程师

  岗位职责：1.负责大数据运行环境的搭建和运维，包括数仓的架构设计，模型设计，ETL流程设计等；2.负责数据治理平台搭建，包括数据整合，数据治理，可视化展现，数据中台等大型平台设计；3.负责整体大数据平台性能优化，包括ETL任务，SQL调优，数据集市底层选型；4.负责新技术的评估.选型，技术迁移的方案制定。任职要求：1.本科及以上学历，具备3年以上大数据平台相关工作经验。2.熟悉多种大数据技术栈(如Hadoop.Yarn.HDFS.MapReduce.Hive.Spark.Kafka.kylin.impala.kudu.hbae等)3.熟悉MPP.Oracle或NoSQL数据库技术；4.对技术有浓厚兴趣，优秀的分析问题解决问题能力.有上进心和主动性，良好团队协作。

  所需技能： SQL、Spark、Hadoop、Kafka、HDFS、MapReduce、Impala、Yarn

• 来源：腾讯科技（上海）有限公司

  大数据平台研发工程师

  岗位职责：1.负责腾讯云大数据平台相关产品的研发；2.负责与客户进行持续需求沟通，通过完善产品功能服务好企业客户。岗位要求：1.计算机.通信等相关专业，本科及以上学历，4年以上大型互联网产品或分布式系统开发设计经验；2.扎实的Java技术.数据库基础，对Linux，分布式系统，高并发等技术经验丰富；3.对大数据领域相关组件如（park,hive,yarn,airflow,Atla等）有丰富的使用经验；4.在企业内部或云有大数据领域相关组件如（park,airflow,Atla等）产品化经验优先；5.熟悉云厂商术语.熟悉使用腾讯云云产品优先

  所需技能： Java、Spark、Yarn、HIVE

• 来源：中科软科技股份有限公司

  大数据平台研发工程师

  职位描述：1.参与大数据平台的规划和建设。2.负责平台数据处理逻辑的设计与实现。职位要求：1.计算机相关专业本科学历，一年以上大数据研发经验。2.具备较丰富的HDFS.HBae.Hive.Kafka.Spark.Kettle.ElaticSearch及MySQL相关使用和开发经验。3.扎实的Java语言基础。4.具有数据仓库建模.ETL设计和开发.数据处理和数据模型方面的实际操作经验。5.责任心强.学习能力强.有钻研精神，沟通能力好，具备良好的团队合作精神。6.熟悉智慧城市数据模型.数据标准.数据质量.元数据.主数据等数据治理相关领域的技术者优先。

  所需技能： Java、Spark、Kafka、HDFS、Hbase、Kettle、HDFS、HBase

• 来源：北京分贝通科技有限公司

  大数据平台研发工程师

  岗位职责：1.参与公司已有大数据系统的运维和优化2.参与大数据应用产品的平台研发工作3.关注并研究大数据生态最新的前沿技术，推动产品技术革新岗位要求：1.本科及以上学历，计算机相关专业，3年以上工作经验2.扎实的计算机基础，掌握常用的数据结构及算法，熟练掌握Java/Golang/Scala/Python中的一项或多项3.熟悉Hadoop生态体系，包括但不限于Hadoop/Hive/HBae/Spark/Flink/Kafka/clickhoue等4.对批量计算.流式计算.存储引擎.任务调度.资源调度等一项或多项有深入理解5.良好的团队精神以及合作意识，热爱技术，高度自驱，追求卓越，对数据敏感6.能熟练使用Spring，Strut，MyBati框架尤佳。

  所需技能： Python、Java、Scala、Spark、Hadoop、Kafka、HIVE、Flink

• 来源：上海岱澳人才信息咨询有限公司

  大数据平台研发工程师

  岗位职责：1.负责高精度地图数据生产管理平台和数据可视化平台的架构设计.落地及调优工作；2.负责点云.影像等大规模数据计算和存储架构开发；3.跟踪技术前沿，研究业务与新技术的快速融合并用于实践。任职要求：1.本科以上学历，计算机.GIS相关专业，5年以上系统设计.架构经验；2.熟悉Linux环境开发，熟悉PHP.Java.C.C++.Python.Go等至少一门语言；3.熟悉大数据相关技术栈，有Spark.Flink实践经验，贡献过相关项目源码者优先；4.熟悉MySQL应用开发，熟悉数据库原理和常用性能优化技术；5.具备大规模分布式计算.存储.可视化开发.数据管理平台开发经验，对大数据处理及应用有浓厚兴趣；6.责任心强，积极主动，工作认真细致，具有良好的团队沟通与协作能力，具备比较好的时间管理能力。

  所需技能： Python、Java、Spark、Flink

• 来源：江苏菊贝尔化学科技有限公司

  大数据平台研发工程师

  工作职责：1.负责大数据平台的监控，性能调优，保证集群高效稳定。2.负责数据平台组件的开发，技术调研，迭代升级，保证数据系统全链路的稳定，安全，协助数据业务开发人员高效完成开发任务。3.负责数据数据治理，数据安全，元数据管理等建设。4.支持大数据平台之上的其他应用开发。任职要求：1.计算机相关专业及本科以上学历，4年及以上数据相关研发经验。2.对多线程，数据结构，GC等有深刻认识，了解Netty,Tomcat，SpringBoot/Cloud，Dubbo等。3.具备在大数据生态系统内，至少一种开源系统的开发经验，熟悉Yarn.HDFS.Hive.Spark.Flink.Preto.Hbae.Kafka.Dori.Druid.io.Clickhoue,Zookeeper中至少一种。4.有较强的编码能力，掌握Java.Scala语言，熟悉SQL,Python。熟悉Linux,具备系统级troublehooting和performancetuning能力者优先。5.具有海量系统开发经验优先，关注开源社区，开源项目贡献者优先。6.对新技术充满好奇，逻辑思维缜密清晰，有责任心和创新意识。

  所需技能： Python、Java、SQL、Scala

• 来源：北京数普教育咨询有限公司

  大数据平台研发工程师

  岗位职责1.负责顺丰大数据平台.数据中台技术支撑架构的设计及演进2.负责依据客户需求，选择合适的大数据组件及架构设计，并推动项目落地3.负责大数据新技术的研究及大数据组件改造，并推动应用落地岗位要求1.计算机或相关专业，5年以上大数据相关开发经验2.熟练掌握Linux下开发，熟悉hell.python脚本编程；3.熟悉大数据基础平台技术的原理和内部机制，包括Hadoop.HDFS.MapReduce.Hive.Spark等，并具备源码改造能力4.熟练掌握java.clojure.cala中至少一种编程语言，熟悉网络服务器编程基本知识，具备3年以上JVM语言开发经验。5.熟悉分布式系统设计方法；6.有BAT相关大数据平台开发经验者优先；

  所需技能： Python、Shell、Hadoop、Linux、Java、JVM、分布式

• 来源：达仕猎（上海）信息咨询有限公司

  大数据平台研发工程师

  岗位要求：1.负责顺丰大数据平台.数据中台技术支撑架构的设计及演进2.负责依据客户需求，选择合适的大数据组件及架构设计，并推动项目落地3.负责大数据新技术的研究及大数据组件改造，并推动应用落地岗位职责：1.计算机或相关专业，5年以上大数据相关开发经验2.熟练掌握Linux下开发，熟悉hell.python脚本编程；3.熟悉大数据基础平台技术的原理和内部机制，包括Hadoop.HDFS.MapReduce.Hive.Spark等，并具备源码改造能力4.熟练掌握java.clojure.cala中至少一种编程语言，熟悉网络服务器编程基本知识，具备3年以上JVM语言开发经验。5.熟悉分布式系统设计方法；6.有相关大数据平台开发经验者优先；职级：9-10级所属部门：大数据中心面试流程：4轮（业务+hr），可远程

  所需技能： Python、Scala、Spark、Hadoop、HDFS、MapReduce

• 来源：上海仲望企业管理咨询有限公司

  大数据平台研发工程师

  职位描述1.负责大数据平台设计和开发，为用户提供易用.高效.稳定的大数据分析环境。2.分析.理解业务需求，设计技术方案并落地实施。职位要求1.熟练掌握C++/Python/Java/Go至少一种语言，有Web开发经验者优先。2.了解常用的架构设计基础知识（高可用.高性能实现方案等）。3.熟悉大数据组件原理和应用，有大数据业务开发经验者优先。4.熟悉Linux环境，能在Linux环境下完成开发.测试.上线运维以及问题排查等日常工作。5.有较强的中英文文档阅读能力以及规范系统文档输出意识。6.有良好的服务意识.沟通能力和团队协作精神，较高的学习能力和主动性。7.本科或以上学历，3年以上相关工作经验。

  所需技能： Python、Java、c++

• 来源：达仕猎（上海）信息咨询有限公司

  大数据平台研发工程师

  岗位要求：1.负责顺丰大数据平台.数据中台技术支撑架构的设计及演进2.负责依据客户需求，选择合适的大数据组件及架构设计，并推动项目落地3.负责大数据新技术的研究及大数据组件改造，并推动应用落地岗位职责：1.计算机或相关专业，5年以上大数据相关开发经验2.熟练掌握Linux下开发，熟悉hell.python脚本编程；3.熟悉大数据基础平台技术的原理和内部机制，包括Hadoop.HDFS.MapReduce.Hive.Spark等，并具备源码改造能力4.熟练掌握java.clojure.cala中至少一种编程语言，熟悉网络服务器编程基本知识，具备3年以上JVM语言开发经验。5.熟悉分布式系统设计方法；6.有相关大数据平台开发经验者优先；

  所需技能： Python、Scala、Spark、Hadoop、HDFS、MapReduce

• 来源：科沃斯商用机器人有限公司

  大数据平台研发工程师

  工作职责：1.负责大数据平台的监控，性能调优，保证集群高效稳定。2.负责数据平台组件的开发，技术调研，迭代升级，保证数据系统全链路的稳定，安全，协助数据业务开发人员高效完成开发任务。3.负责数据数据治理，数据安全，元数据管理等建设。4.支持大数据平台之上的其他应用开发。任职要求：1.计算机相关专业及本科以上学历，4年及以上数据相关研发经验。2.对多线程，数据结构，GC等有深刻认识，了解Netty,Tomcat，SpringBoot/Cloud，Dubbo等。3.具备在大数据生态系统内，至少一种开源系统的开发经验，熟悉Yarn.HDFS.Hive.Spark.Flink.Preto.Hbae.Kafka.Dori.Druid.io.Clickhoue,Zookeeper中至少一种。4.有较强的编码能力，掌握Java.Scala语言，熟悉SQL,Python。熟悉Linux,具备系统级troublehooting和performancetuning能力者优先。5.具有海量系统开发经验优先，关注开源社区，开源项目贡献者优先。6.对新技术充满好奇，逻辑思维缜密清晰，有责任心和创新意识。

  所需技能： Python、Java、Scala、Spark、Kafka、HDFS、Zookeeper、数据平台

• 来源：宇动源（北京）信息技术有限公司

  大数据平台研发工程师

  职位描述1.负责宇动源企业级PaaS平台相关的产品设计和研发(技术攻坚和代码优化)。2.维护内/外部大数据平台的高稳定,高可用,持续优化系统性能和体验。3.洞察大数据技术前沿,引入高价值技术流入公司,从技术角度推动产品优化。任职要求1.至少熟练掌握如下一种语言Java/Python/Scala。2.熟练掌握HadoopEcoytem(3.1以上)，熟悉多种新/旧有价值的特性。（纠删码.SSM「iue：HDFS-7343」.高性能多副本.Dikbalancer等）3.了解多租户架构。Kerbero.Sentry.Ranger等权限框架。4.了解DataLake.DataRiver相关技术，熟悉HUDIonpark。5.有工业互联网大数据平台开发经验优先。6.有异构查询引擎使用.OLAP数仓设计开发的经验优先。7.对Anible的playbook编写相关经验丰富者优先。8.对至少一项大数据开源可视化/管理平台有使用经验，例如CDH，HUE，Ambari，MapR等。调度引擎方向：职位描述1.负责宇动源企业级PaaS平台相关的产品设计和研发(技术攻坚和代码优化)。2.维护内/外部大数据平台的高稳定,高可用,持续优化系统性能和体验。3.洞察大数据技术前沿,引入高价值技术流入公司,从技术角度推动产品优化。任职要求1.至少熟练掌握如下一种语言Java/Python/Scala。2.了解并熟悉Azkaban.Airflow.DolpinScheduler.Oozie等大数据调度引擎的使用和实现原理。3.有工业互联网平台调度系统开发经验优先。4.有过任意调度引擎的自定义标签.自定义组件的经验者优先。5.对至少一项大数据可视化/管理平台有使用经验，例如Datawork，HUE，DolpinScheduler，Azkaban等。数据引擎方向：职位描述1.负责宇动源企业级PaaS平台相关的产品设计和研发(技术攻坚和代码优化)。2.维护内/外部大数据平台的高稳定,高可用,持续优化系统性能和体验。3.洞察大数据技术前沿,引入高价值技术流入公司,从技术角度推动产品优化。任职要求1.至少熟练掌握如下一种语言Java/Python/Scala。2.了解并熟悉Antlr4引擎的使用或开发及g4相关语言文件的定义。3.熟悉异构查询引擎.即席查询引擎使用.有过OLAP数仓设计开发的经验。4.对calcite有过使用或开发和有过对AST执行树的相关技术概念了解的优先。5.对至少一项数据引擎有使用经验，例如Preto，Impala，SparkSQL，Hive等。

  所需技能： Python、Java、Scala、Spark、Hadoop、Impala、Presto、大数据