大数据研发工程师

相关职位简介

• 来源：税友软件集团股份有限公司

  大数据研发工程师

  岗位职责：1.负责数据类产品的数据开发.ETL开发；2.负责数据产品的交付及客户的数据提取工作；3.负责数据仓库建模，大数据技术研究工作。任职资格：1.精通Oracle.MySQL.potgreql等数据库.精通SQL语言，对数据库优化.SQL优化等有相关经验；2.熟悉HiveSQL或者OdpSQL，有阿里云.华为云使用经验优先；3.熟悉数据仓库的理论和数据库建模，熟练使用JAVA.python的一种或者多种；4.有税务行业从业经验者优先；5.可以接受适当出差，抗压能力强。

  所需技能： SQL、大数据、Kettle、Flink

• 来源：北京搜房科技发展有限公司

  大数据研发工程师

  岗位职责1：参与公司大数据产品的研发工作，包括离线.实时的数据开发2：参与数据仓库构建工作3：参与数据统计工作，完成业务需求任职资格1：熟悉Linux平台工作环境，熟悉常用脚本2：掌握Hadoop.Spark.HBae.Hive技术3：良好的Java.Scala基础4：熟悉Springcloud.SpringBoot微服务开发5：熟练使用git6：熟练使用myql.qlerver等关系型数据库7：良好的ql功底8：熟悉分布式环境，有大数据开发经验9：了解数据仓库概念与原理，对数据处理维度建模有一定认识

  所需技能： SQL、Java、Scala、Spark、Hadoop、HIVE

• 来源：北京芋头教育科技有限公司

  大数据研发工程师

  岗位职责：1.负责海量数据和大规模业务系统的数据采集，处理和管理的开发工作2.应用业界领先的大数据工具和组件，建设数据仓库，进行业务抽象和数据管理3.参与在线业务的数据分析，支持各种业务数据分析需求任职要求：1.计算机，统计学，软件工程或相关专业，逻辑思维能力好，动手能力强2.熟悉至少一门数据处理语言，如SQL/Python/R等3.熟悉数据仓库基础理论和大数据ETL能力，熟练掌握Storm,Flink,Spark,Hive,MySQL等大数据流式或批式开发框架4.具有良好的沟通能力，具有团队合作精神，能够站在用户的角度去发现问题，总结问题，驱动创新

  所需技能： Python、Spark、Hadoop、Storm、Flink

• 来源：重庆星际魔方科技有限公司

  大数据研发工程师

  工作职责1.负责离线大数据平台建设。针对海量数据(10T)提供存储（ES集群存储.数据清理.分类等技术服务，打造易用.稳定.高效的数据存储.查询平台。2.负责离线数据处理框架的设计.架构.开发（开发是java语言）。3.根据需求，从稳定性.功能.性能.可用性等方面，负责设计.实现.改进相关系统。4.开发数据查询平台（前端.后端.API,数据清洗等工具。5.支持各种业务相关的数据分析和数据处理的工单。任职要求：1.有Linux服务端开发经验，有后台分布式系统开发经验。2.熟悉Java语言，熟悉nio.多线程.高并发处理.jvm内存管理等技术。3.熟悉HDFS.Kafka.ElaticSearch.Hive.Impala等开源存储/计算框架中的至少一种，阅读过源代码更佳。4.熟悉以上noql数据库相关工具的开发，包括开发.监控.调优.迁移.同步工具等优先5.有数据库迁移和同步的经验，接触过datax.binlog.ETL等技术，熟悉全量.增量的数据迁移6.了解分布式存储和计算系统原理，有相关设计经验尤佳。7.具备强烈的进取心.求知欲及团队合作精神，具有良好的沟通能力，具有良好的问题分析和解决能力。8.有互联网产品用户行为研究/日志采集/大数据处理经验优先。

  所需技能： Java、Kafka、HDFS、Impala、DataX

• 来源：北京字节跳动科技有限公司

  大数据研发工程师

  岗位职责：1.参与字节跳动游戏业务离线和实时数据仓库建设工作；2.参与数据ETL流程的优化并解决海量数据ETL相关技术问题；3.参与复杂数据链路依赖和多元数据内容生态下的数据治理工作；4.背靠字节跳动强大的中台架构和产品体系，在业务快速落地数据解决方案。岗位要求：1.具备较强的编码能力，熟练掌握SQL/Python/Java/Hive/Spark/Kafka/Flink中的多项；2.善于沟通，具备优秀的技术与业务结合能力3.有游戏从业经验者优先

  所需技能： Spark、Kafka、HIVE、Flink、数仓

• 来源：上海趣门佳信息科技有限公司

  大数据研发工程师

  岗位职责：主要负责大数据平台的研发.运维工作岗位要求：1.本科以上学历，软件工程/计算机/通信/数学等相关专业；3年以上大数据开发经验；2.熟悉HiveSQL语言，熟悉hell,python等至少一种脚本语言；3.有hadoop.park.flink等至少一种大数据平台的使用经验；4.理解能力强，善于沟通，有责任心和团队精神；5.有数据仓库建设.商业数据分析.增长项目经验者优先

  所需技能： SQL、Python、Spark、Hadoop、HIVE、Flink

• 来源：阿里巴巴（中国）有限公司

  大数据研发工程师

  职位描述:1.负责事业部企业级数据仓库建设和管理，包括但不限于数据质量.数据模型.数据安全相关标准的制定；2.负责与业务团队协同规划数据智能方向，推动数据在企业智能业务场景中的落地；3.研究业界企业级数据建设模式，跟进大数据领域新技术；职位要求:1）本科以上学历,4年以上相关工作经验，熟悉数据仓库模型设计与ETL开发经验，掌握Kimball的维度建模设计方法，具备海量数据加工处理（ETL）相关经验；2）熟练运用大数据计算平台来处理数据，包括但不限于ODPS.Flink.Hadoop.Spark等，掌握一门或多门编程语言，如Java.Python等；3)良好的数据敏感度，能从海量数据提炼核心结果，需要具备数据统计的基础知识，能够在数据探索上有自己的洞见分析能力；掌握常用的数据分析方法，例如数据预处理，单变量描述性统计，多元统计分析如回归，聚类等；4）有良好的业务及产品感觉，能够超越需求，有自己独到的见解和思考。可以主动并乐于了解日常业务，具备从日常业务中发现问题并解决问题的能力；5）对数据挖掘和机器学习有所了解，包括常用的机器学习算法和数据建模过程的优先，有企业级数据智能应用场景实践的优先。

  所需技能： Python、Spark、大数据

• 来源：郑州知己网络科技有限公司

  大数据研发工程师

  岗位职责1.参与大数据平台建设，完成数据存储设计.实践2.负责大数据采集.处理.清洗.分析.业务需求等相关开发3.设计面向业务的OLAP，完成数据仓库建设；4.负责BI系统建设及其方案落地职位要求1.5年以上大型数据或数据仓库项目经验，能够快速从零搭建数据仓库；2.2-3年的大数据开发经验，熟练掌握hive，park开发；3.熟悉数据仓库建设，熟悉ETL分层建设方法；4.有机器学习和推荐算法项目检验优先

  所需技能： Spark、大数据、HIVE

• 来源：北京融七牛信息技术有限公司

  大数据研发工程师

  岗位职责1.负责制定数据仓库和数据分析平台的整体技术框架方案并根据业务扩展持续更新；2.负责攻克技术难关，保证大数据系统的稳定运行；3.负责数据模型离线系统数据ETL，建立数据抽取，清洗，校验，机器学习训练等数据加工流程；4.负责协助业务完成部分数据分析工作。任职要求1.掌握大数据海量数据处理技术，有Hadoop/mr/Hive/HBae/Spark/等相关经验者；2.深入理解map-reduce等计算逻辑原理与优化方法；3.性格积极乐观，有良好的沟通能力，抗压能力，有强烈的学习/技术研究能力和良好的团队精神；4.有大数据架构经验者优先，有图计算和图数据库相关经验者优先；5.掌握python/java/c++等一种语言加分。

  所需技能： Python、Java、Spark、Hadoop、HIVE

• 来源：上海智众医疗科技有限公司

  大数据研发工程师

  职位描述：1.参与基础数据系统/计算任务集群的搭建运维2.参与数据仓库ETL及数据脚本.数据任务的项⽬目开发，以及数据仓库的建模.取数.报表3.参与项⽬目中业务模型的算法落地，有数学功底及有算法基础的优先4.参与在线和离线数据分析平台的开发；5.负责概念模型.设计逻辑.数据处理理（抽取.清洗.转化）.项⽬目实施管控等；任职要求：1.从事数据仓库领域工作5年以上；2.熟悉数据建模.ETL设计与应⽤用.报表开发等，并有实际模型设计及ETL开发经验；具有良好的编程习惯和⽂文档编写习惯；3.熟悉数据仓库领域知识和管理理技能，包括但不局限于：元数据管理.数据质量.性能调优等；4.熟悉常用数据库的性能特点和开发技术，能够灵活运用SQL实现海量数据ETL加工处理；5.了解大数据基础架构和平台，具备相关产品（Hadoop.Hive.Spark.Kafka等）项⽬应⽤用研发经验；6.熟悉Linux系统，能够熟练运用Java.Scala.Python等语言进行开发；7.有阿里云.腾讯云或AWS等云平台的大数据系统的工作经验优先；8.熟悉数据可视化的基本方法，有数据可视化的开发经验优先；9.对数据敏感，具有良好的逻辑分析.责任心强.良好的对外沟通和团队协作能力

  所需技能： SQL、Python、Java、Scala、Spark、Hadoop、Kafka、大数据

• 来源：北京字节跳动科技有限公司

  大数据研发工程师

  职位描述1.负责字节跳动核心业务的离线与实时数据仓库构建；2.负责数据模型的设计，ETL实施，ETL性能优化，ETL数据监控以及相关技术问题的解决；3.深入业务，理解并合理抽象业务需求，发挥数据价值，与业务团队紧密合作；4.参与大数据应用规划，为数据产品.挖掘团队提供应用指导；5.参与数据治理工作，提升数据易用性及数据质量。职位要求1.熟悉数据仓库实施方法论.深入了解数据仓库体系，并支撑过实际业务场景；2.熟悉hadoop，hive，park，flink，clickhoue等大数据框架，有大规模数据处理经验；3.熟悉Java.Scala.Python.SQL等编程语言，具备较强的编码能力；4.对数据敏感，认真细致，善于从数据中发现疑点，具备优秀的技术与业务结合能力；5.有较好的英文沟通能力是加分项。内推岗位：http://job.toutiao.com//eMu6Hmm

  所需技能： SQL、Spark、HIVE、Flink、Hadoop、Yarn、Scala、MapReduce

• 来源：阿里健康科技（中国）有限公司

  大数据研发工程师

  职位描述工作职责：设计.开发.优化大数据平台大数据场景下的数据处理任职要求：计算机相关专业，本科及以上学历；3+年的大数据系统或后端研发经验扎实的算法和数据结构功底，熟练掌握Java语言掌握分布式系统原理，掌握Hadoop相关技术，熟悉hive，熟悉hadoop相关生态工具使用极原理，并有2年+的Hadoop开发经验具备一定的系统设计能力，主持或参与过大数据业务系统架构的设计具有一定的数据仓库设计经验良好的沟通和团队协作能力具有开源项目贡献者，尤其是Hadoop或编译器相关项目优先参与过系统底层优化项目或编译器后端优化项目者优先

  所需技能： Hive、Hadoop、Java