大数据高级开发工程师

相关职位简介

• 来源：北京百卓网络技术有限公司

  大数据高级开发工程师

  岗位职责:1.大数据平台业务模块的开发工作；2.基于Spark技术的海量数据的处理（抽取.过滤.清洗.转换.存储等）；3.根据数据模型进行数据监控.统计分析.报表展现等；4.研究Spark/Hadoop集群技术，持续优化集群架构，发现并解决重大故障及性能瓶颈；职位要求：1.从事大数据Hadoop开发3年及以上工作经验2.精通Java多线程编程，常用设计模式，以及常用海量数据处理方法；3.精通Hadoop生态系统组件，如：Spark.Flume.Kafka.HBae.Hive.ZooKeeper.ES.Redi等；4.有丰富的数据库设计.开发经验，熟悉关系型数据库.NoSql，图数据库Neo4j等；5.熟悉Linux环境开发，熟练使用Shell.Python等脚本语言之一；6.了解tcp.http.ftp.dn等基础通信知识者优先；7.具有ETL.OLAP.OLTP实际工作经验之一者优先；8.具有运营商.公安监管系统从业经验优先；

  所需技能： ETL、Spark、ES

• 来源：上海音达科技实业有限公司

  大数据高级开发工程师

  岗位要求：1.熟悉数据仓库的设计，开发和维护，精通ETL数据处理流。2.熟悉GreenPlum相关开发.调优，并能处理常见故障。3.有BI如Congnu的开发经验。4.熟悉linux系统，可以编写常用的hell脚本。5.具备以下经验之一优先考虑：6.熟悉hadoop相关各种开源项目，Hive/Hbae等有实际应用开发经验，熟练使用HSql7.熟悉Scala/python语言，对Scala/python原理.底层技术有研究。熟悉SparkSQL岗位职责：1.移动数据仓库的设计，开发和维护2.偶尔极少数出差

  所需技能： ETL、数据仓库、greenplum

• 来源：蔚蓝鬼计（天津）营销策划有限公司

  大数据高级开发工程师

  工作职责1.负责分布式数据仓库的主题模型设计和宽表开发工作；2.负责大数据分析需求设计和开发，承担数据抽取.清洗.转化等数据处理程序开发；3.负责大数据平台中实时计算和分布式并行计算的程序开发，以及开源技术组件的二次开发；4.负责BI平台数据分析.报表开发工作。任职资格1.本科及以上学历，计算机/数学等相关专业，具有3年及以上大数据开发经验；2．熟悉Java或cala开发，熟悉linux操作；3．熟悉Hadoop.Hive.HBae.Spark等相关技术，具有多个以上大数据平台项目实施经验；4．具有丰富的数据仓库系统的开发实施经验，熟练设计数据模型.ETL设计.Cube多维建模.OLAP开发.报表开发等；具有良好的编程习惯和文档编写习惯；5．有较强的学习能力，对技术有钻研精神，并有较高的热情，热衷于新技术学习和实践；6．优秀的团队合作精神，对工作有热情，能够承受住压力；7．具有大数据金融风控开发经验的优先。

  所需技能：

• 来源：长沙浩鲸云软件有限公司

  大数据高级开发工程师

  岗位职责：1.负责Hadoop.HBae.Spark.Storm等系统的搭建.优化.维护及升级工作，保证平台的稳定运行2.负责数据的清洗.加工.分类等开发工作，并能响应数据分析师对数据提取的要求3.负责大数据平台的底层平台的整体架构设计，确保系统能支持业务不断发展过程中对数据存储及计算的要求4.主要负责深入业务，制定业务指标，反馈业务问题，为业务发展提供决策支持.任职资格：1.熟悉分布式系统的架构，有分布式系统架构设计的经验，有Hadoop系统架构设计经验，至少1个以上大型成熟项目的经验；2.精通Hive，并有相当优化经验，理解Hbae体系架构，并有相当开发经验。3.精通python，并有相当开发经验。4.熟悉数据仓库的ETL的开发,有海量数据处理相关经验；5.熟悉Hadoop.HBae.Hive.Spark.Storm等软件，精读过源码优先。6.有数据挖掘及机器学习方面的经验优先。7.可以接受出差。工作经验：5-7年招聘人数：1-2人

  所需技能： Spring、python、scala

• 来源：广东链动网络科技有限公司

  大数据高级开发工程师

  岗位职责：1.负责数据平台的搭建及开发；2.负责数据平台及相关应用解决方案的设计，根据业务需求规划集群和架构的扩展；3.负责数据应用的需求的分析.设计.任务安排等工作，对整体的数据平台及应用负责；岗位要求：1.大专或以上学历，5年以上数据平台相关经验；2.深入了解分布式存储和计算系统的架构及运行原理，具备搭建基于Hadoop的高效稳定大数据平台的能力；3.熟悉Hadoop生态架构，包括hbae.mr.hive.impala.qoop.oozie.SparkStreaming等；4.具备优先的快速学习能力，沟通协调能力及团队精神;

  所需技能： 数据分析、Hive、ETL