大数据架构工程师

相关职位简介

• 来源：深圳虾皮信息科技有限公司

  大数据架构工程师

  岗位职责：1.构建分布式大数据服务平台，参与和构建公司数据系统，包括海量数据存储.离线/实时计算.实时查询，大数据系统运维等；2.服务各种业务需求，服务日益增长的业务和数据量；3.深入源码内核改进优化开源项目，解决各种hadoop.park.hbae等系统疑难问题，参与到开源社区建设和代码贡献。岗位要求：1.统招本科及以上学历，1年及以上相关工作经验，理解分布式系统基本技术和原理，有深入跟踪问题解决问题的能力；2.至少精通一种Java/Scala/C++程序开发；3.熟悉一种脚本语言，如python，Bah，熟悉Linux/Unix开发环境；4.喜欢钻研技术，具有分享精神，喜欢和数据打交道。（非必须）1.熟悉常用开源分布式系统，熟悉Hadoop/Hive/Spark/Flink/HBae/Preto/Druid/Kylin/ElaticSearch等开源系统之一的源码，有深入使用和研究经验者优先；2.有大规模分布式系统开发.维护经验，有故障处理能力，源码级开发能力者优先。

  所需技能： 数据仓库、分布式技术、Hive、Elasticsearch、Hadoop、Spark、HIVE、Hbase

• 来源：优矩互动（北京）科技有限公司

  大数据架构工程师

  岗位职责1.对多样性的行驶轨迹数据进行清洗,预处理,建立模块化的ETL过程2.建立数据模型,保障数据可灵活,可靠地存取3.维护大数据存储系统和计算平台,保障集群持续稳定地的运转4.参与模型系统的计算框架和大数据平台的设计与搭建,优化大数据各个组件,提高集群整体性能•任职要求:1.理工科专业毕业,一年以上工作经验2.对多种渠道获得的行驶数据进行预处理,建立成熟的ETL过程3.熟悉数据库/数据仓库/SQL等经典存储系统的原理,并熟练使用,包括Myql/Potgreql/Hive等4.熟悉各种数据模型,设计并维护行驶和模型产生的各种数据的结构和模型5.熟悉Spark/Storm/Redi/Rabbitmq/Mongodb等各种大数据平台组件的配置和调优

  所需技能：

• 来源：深圳虾皮信息科技有限公司

  大数据架构工程师

  岗位职责：1.构建分布式大数据服务平台，参与和构建公司数据系统，包括海量数据存储.离线/实时计算.实时查询，大数据系统运维等；2.服务各种业务需求，服务日益增长的业务和数据量；3.深入源码内核改进优化开源项目，解决各种hadoop.park.hbae等系统疑难问题，参与到开源社区建设和代码贡献。岗位要求：1.统招本科及以上学历，1年及以上相关工作经验，理解分布式系统基本技术和原理，有深入跟踪问题解决问题的能力；2.至少精通一种Java/Scala/C++程序开发；3.熟悉一种脚本语言，如python，Bah，熟悉Linux/Unix开发环境；4.喜欢钻研技术，具有分享精神，喜欢和数据打交道。（非必须）1.熟悉常用开源分布式系统，熟悉Hadoop/Hive/Spark/Flink/HBae/Preto/Druid/Kylin/ElaticSearch等开源系统之一的源码，有深入使用和研究经验者优先；2.有大规模分布式系统开发.维护经验，有故障处理能力，源码级开发能力者优先。

  所需技能： 数据架构师、数据开发、分布式技术、数据结构、Hadoop、Java、C语言、HIVE

• 来源：杭州飓风游戏科技有限公司

  大数据架构工程师

  岗位职责：1.集成大数据组件，搭建大数据平台。2.对大数据平台的系统集成进行功能测试，性能测试，组件联调，架构选型。3.维护管理开发环境.项目环境中的大数据组件。4.设计研发数据平台工具。岗位要求：1.计算机相关本科及以上学历，有强烈的责任心和团队合作精神.具备良好的沟通能力以及快速学习的能力，有独立项目开发经验，优秀应届毕业生可酌情考虑接收2.熟悉Linux，熟悉数据库操作，熟悉大数据常用组件的集成和应用3.熟悉Shell语言开发，熟悉Python语言开发，熟悉Sql开发4.精通hdf.hadoop.park架构和原理5.熟悉至少4种大数据组件（如hbae.kafka.kudu.hive.flume.azkaban.nifi.olr等），具备安装.调试.使用.优化.处理问题的能力6.综合素质佳，经验欠缺者，可由公司提供大数据实验实验环境培养

  所需技能： Linux、Hive、数据架构

• 来源：深圳虾皮信息科技有限公司

  大数据架构工程师

  岗位职责：1.构建分布式大数据服务平台，参与和构建公司数据系统，包括海量数据存储.离线/实时计算.实时查询，大数据系统运维等；2.服务各种业务需求，服务日益增长的业务和数据量；3.深入源码内核改进优化开源项目，解决各种hadoop.park.hbae等系统疑难问题，参与到开源社区建设和代码贡献。岗位要求：1.统招本科及以上学历，1年及以上相关工作经验，理解分布式系统基本技术和原理，有深入跟踪问题解决问题的能力；2.至少精通一种Java/Scala/C++程序开发；3.熟悉一种脚本语言，如python，Bah，熟悉Linux/Unix开发环境；4.喜欢钻研技术，具有分享精神，喜欢和数据打交道。（非必须）1.熟悉常用开源分布式系统，熟悉Hadoop/Hive/Spark/Flink/HBae/Preto/Druid/Kylin/ElaticSearch等开源系统之一的源码，有深入使用和研究经验者优先；2.有大规模分布式系统开发.维护经验，有故障处理能力，源码级开发能力者优先。

  所需技能： Spark、Hadoop、HIVE、Presto、Kylin、Flink、Druid、Java

• 来源：北京合享智星数据科技有限公司

  大数据架构工程师

  岗位职责：1.负责数据仓库平台.Hadoop大数据平台.数据中台类系统的需求分析.设计开发.测试.投产等工作，保证项目质量；2.负责跟踪Hadoop.数据中台新技术研究，以及平台框架核心代码的开发与测试工作；3.负责数据仓库平台.Hadoop大数据平台.数据中台的框架设计和体系结构优化，负责技术方案的讨论.制定和审核，保障项目技术方案的合理性和完整性；4.负责数据仓库平台.Hadoop大数据平台.数据中台的推广，解决集群运营和数据应用支持中的技术难题。任职要求：1.全日制本科及以上学历.计算机相关专业毕业，年龄35周岁及以下；具备5年（研究生3年）以上数据领域相关工作经验；2.精通SQL.Perl.Shell.Python.Java.Scala等开发语言；3.精通大数据生态相关组件（HDFS.HBae.Hive.Spark.Kafka.Flink.ElaticSearch等），具备Hadoop集群维护运营经验；4.精通Spring.SpringBoot.SpringCloud.Redi等主流分布式框架和开源技术，熟悉Docker.Kubernete等容器技术者优先；5.有丰富的数据平台建设经验，对数据敏感；有较强的系统设计能力,如ETL调度系统，实时系统，元数据管理系统，数据仓库，数据监控系统等；6.有数据规划.数据计算，数据分析.数据挖掘经验，有数据驱动增长经验和落地能力，熟悉数据应用场景；有开发流程规范制定和落地能力；

  所需技能： SQL、Shell、Python、Java、Hadoop

• 来源：阿里巴巴（中国）有限公司

  大数据架构工程师

  工作职责：负责知乎大数据集群的扩展性和可靠性的开发和维护负责知乎大数据基础组件的性能优化和二次开发参与知乎大数据基础架构的设计和实施任职要求：熟悉Linux平台，熟练Java或Scala，以及JVM调优具有良好的编程习惯和算法基础熟悉HDFS.Yarn.计算引擎如Hive，Spark，Flink熟悉一种或者多种大数据生态技术有大规模分布式系统开发等经验者优先具备优秀的逻辑思维能力，对解决挑战性问题充满热情，善于解决问题和分析问题

  所需技能： Spark、Hadoop、Flink、HIVE、Python、Java

• 来源：彩虹无线（北京）新技术有限公司

  大数据架构工程师

  岗位职责：1.根据业务需求研发大数据总体技术的规划架构与设计；2.负责大数据平台的搭建，完成系统调试.集成与实施；3.负责解决大数据组件技术问题；4.参与大数据项目.架构应用需求.设计.审核和评审，建立大数据平台技术标准规范，编写代码。任职要求：1.熟悉linux,会hell和java编程,会python或cala编程；2.精通离线和实时数据处理流程，熟悉大数据生态圈相关组件(hadoop.park.hbae.hive.kafka.torm，cdh,elk)等；3.精通大数据技术架构，熟悉常见数据结构和算法，计算机基础。

  所需技能： Spark、Hadoop、Kafka、Storm、Hbase、Java、Python、Scala

• 来源：郑州埃文计算机科技有限公司

  大数据架构工程师

  岗位职责：1.负责公司大数据平台的架构整体规划和设计，推动大数据平台方向的技术研究与应用，解决公司产品开发大数据开发过程中的技术难点；2.负责规划大数据平台集群关键功能组件.技术选型决策以及集群的扩容升级等，把控平台的技术发展方向，建立良好的技术分享和提升机制；3.负责大数据应用架构体系标准的研究和制定，不断通过技术优化提升数据处理效率及自动化程度；4.具备业务理解和抽象能力，可解决复杂的商业问题.技术方向的把控。职位要求：1.本科以上学历，5年以上分布式系统.大数据相关开发架构工作经验，有一定的业务与商业大数据思维；2.5年以上数据平台（大数据平台.BI可视化.数据仓库/集市/数据湖.OLAP分析等）设计应用经验，具备3年以上的数据相关的管理经验；具有一定的高并发海量存储技术选型经验及大规模集群生产调优经验；3.具备较强的编码能力，掌握JAVA/Scala/Python开发语言之一，能熟练使用和优化SQL4.熟悉大数据生态技术（包括不限于Hadoop.Hive.Hbae.Spark.Impala/Kudu.ES.ClickHoue.ApacheDori等）及主流的数据应用产品或工具（BI.多维分析等）5.熟练使用阿里云的大数据生态组件，有ACP/HCIE/CCA大数据认证者优先；6.具备DSP广告.数字化营销.网络安全相关行业大数据架构经验者优先，或多年DBA转大数据架构方向从业者优先；

  所需技能： 大数据平台、大数据应用架构、大数据生态技术、大数据生态组件、DSP、DBA

• 来源：深圳市柏越人力资源有限公司

  大数据架构工程师

  工作职责1.整体技术架构设计，技术难点攻关；2.参与大数据产品的规划.设计.研发以及测试验证；3.大数据产品的实施.部署，以及升级与优化。岗位要求1.计算机或相关专业本科及以上学历，五年以上同类岗位工作经验；2.精通Hadoop.Hive.HBae.Spark的技术原理及优化，熟悉Flink/Kafka/Flume/Zookeeper/Sqoop/ES等组件，熟悉大数据技术生态，能独立应用和优化上述组件；3.熟悉数字孪生.BI.实时计算.用户画像.数据挖掘等常用的大数据应用场景；4.掌握Java.Python等开发语言，掌握该语言的主流开发框架；5.精通常用的RDBMS.NoSQL数据库，实时数据库，掌握数仓开发，熟练编写ql语句,有实际ql调优经验；6.精通Linux系统，有较为丰富的Linux开发使用经验，熟悉自动化运维.监控，敏捷开发与发布流程，有DevOp经验尤佳；7.有大数据平台建设经验和相关优化经验；8.有良好的团队精神和沟通能力，积极主动.热爱技术并善于钻研，责任心强.能够承受一定工作压力；9.熟悉硬件负载.路由器.交换机.防火墙.VPN等技术优先。

  所需技能： Spark、Kafka、Flume、Zookeeper、Sqoop、Hbase、Flink、Python

• 来源：上海猎诺企业管理咨询有限公司

  大数据架构工程师

  岗位职责：1.参与计算框架和服务的定制和改进，为公司批处理和流式计算能力提供支撑；2.深入理解业务场景，解决性能瓶颈，实现业务目标；3.计算.存储和网络方面基础技术的探索和储备。任职要求：1.精通各种性能分析和调试工具，高效进行分析；2.熟练的C/C++/Java开发能力，代码质量高；3.熟悉网络.linux.Hadoop等系统，能够灵活解决新问题；4.较好的团队协作和沟通能力。

  所需技能： C/C++/Java、linux、Hadoop

• 来源：北京达佳互联信息技术有限公司

  大数据架构工程师

  工作内容1.快手OLAP引擎研发及运维，个性化改造，troublehooting2.构建高性能OLAP数据平台，支撑快手所有业务线的OLAP需求职位要求1.计算机或相关专业本科及以上学历，具有扎实的数据结构和算法功底2.C.C++.JAVA开发经验，熟悉Linux开发环境；3.具备良好的问题分析与解决能力，有较强学习能力和逻辑思维能力4.有大数据分析引擎（如ClickHoue.Droi.Druid.Preto.HBae.ElaticSearch等）开发/应用优化经验者优先

  所需技能： Presto、Druid、Java、C++、Hbase、Clickhouse

• 来源：深圳虾皮信息科技有限公司

  大数据架构工程师

  职位描述岗位职责：1.构建分布式大数据服务平台，参与和构建公司数据系统，包括海量数据存储.离线/实时计算.实时查询，大数据系统运维等；2.服务各种业务需求，服务日益增长的业务和数据量；3.深入源码内核改进优化开源项目，解决各种hadoop.park.hbae等系统疑难问题，参与到开源社区建设和代码贡献。岗位要求：1.统招本科及以上学历，1年及以上相关工作经验，理解分布式系统基本技术和原理，有深入跟踪问题解决问题的能力；2.至少精通一种Java/Scala/C++程序开发；3.熟悉一种脚本语言，如python，Bah，熟悉Linux/Unix开发环境；4.喜欢钻研技术，具有分享精神，喜欢和数据打交道。（非必须）1.熟悉常用开源分布式系统，熟悉Hadoop/Hive/Spark/Flink/HBae/Preto/Druid/Kylin/ElaticSearch等开源系统之一的源码，有深入使用和研究经验者优先；2.有大规模分布式系统开发.维护经验，有故障处理能力，源码级开发能力者优先。

  所需技能： Spark、Hadoop、HIVE、Presto、Kylin、Flink、Druid、Java