高级大数据架构师

相关职位简介

• 来源：南京普洛齐企业管理咨询有限公司

  高级大数据架构师

  职责描述：1.对业务需求深入分析，从而进行大数据平台核心应用的架构设计.开发和技术支持；2.规划业务应用系统和基础平台的技术架构，参与需求分析.建模.架构设计.技术决策以及详细设计；3.把握复杂系统的设计，确保系统的架构质量，编写核心部分代码；4.带领团队攻克例如大数据量.高并发.高稳定性等带来的各种挑战及技术难关；5.在大数据平台建设路线图指导下，进行架构实施和交付物投递，同时确保研发质量和方向的准确性；6.进行团队技术的培训和梯队建设任职要求。职位要求：1.相关本科或以上学历，计算机相关专业，5年以上研发经验，3年以上大数据平台相关工作经验；2.精通Java开发技术，熟悉Shell.Scala语言和PYTHON优先；3.编程基础扎实，熟悉I/O.多线程.集群等基础框架和原理，熟悉分布式.缓存.消息等机制；4.熟悉常用设计模式，代码评审规则，单元测试，持续集成；5.熟悉AWS云服务或阿里云服务；6.熟悉容器技术原理.生态系统，熟悉Docker.Meo.Kubernete等容器系统.大规模容器资源调度系统.分布式应用生命周期管理框架。熟悉云计算/容器和网络技术，具备大规模集群设计及管理经验；7.具有大数据相关技术（HDFS.MR.HBae.Flume.Kafka.park.Mongo.ES等）实际使用经验；8.优秀的分析问题和解决问题的能力，对解决挑战性问题充满激情。

  所需技能： 系统架构、技术管理、高级技术管理

• 来源：北京字节跳动科技有限公司

  高级大数据架构师

  职责描述：1.负责数据仓库基础架构规划.安全规划.ETL架构和规范制定2.负责数据调研以及业务调研3.负责数据仓库通用汇总层设计，负责多维数据模型设计任职要求：1.本科以上，计算机相关专业；2.5年以上数据仓库开发及架构工作经验；2年以上大数据相关工作经验；3.具有大数据处理平台架构设计经验，熟悉业务数据调研方法，精通数据仓库的设计理念，有成功的企业级数据仓库架构和实施经验；有跨行业领域数据仓库模型设计者优先；4.熟悉通用的ETL流程，熟悉数据安全管控流程，熟悉数据质量管理流程5.熟悉Hadoop系统，对HDFS.HBASE.HIVE以及Mapreduce框架计算有全面的研究和实践优先；6.熟悉java语言，有基于海量数据的大型分布式系统应用开发经验优先，有linux平台及hell脚本开发优先；7.工作认真.负责.仔细，有良好的团队合作精神，良好的分析能力.沟通技巧；

  所需技能： 系统架构

• 来源：纬创软件（北京）有限公司

  高级大数据架构师

  任职要求：1.本科或以上学历，5年或以上硕士2年或以上工作经验；2.精通至少一门编程语言：C++／Java／Python，熟练掌握Linux日常配置与操作；3.对关系型与非关系型数据库与数据存储均具有非常深刻的理解，能够熟练使用常用数据库，并理解不同数据库产品的特性区别，包括但不限于：HDFS／HBae／Mongo／Redi／MySQL；熟悉包括但不限于Spark,Storm,MapReduce或其它图计算.流式计算.离线并行计算主流框架。4.具备独立设计大型数据存储或计算系统并实施的能力，具备电信行业.智能城市等产品实施经验者优先；5.对数据挖掘.机器学习.统计学算法原理有所了解，或具备以上相关系统实施经验者优先；6.良好的沟通能力和逻辑思维能力，思维敏捷，能够对业务需求进行抽象并据此进行架构设计。岗位职责：1.参与大数据平台的选型.部署以及研发优化工作，能够持续的支持业务的规模增长和需求升级；2.具备良好的复杂系统设计思想，灵活运用各成熟的离线.近线和在线机器学习计算框架接入成熟的离线/在线数据平台，3.完成数据清洗.数据回流.特征生成.在线算法预测.算法策略的部署监控等全流程平台框架工作；4.完成常见机器学习算法(聚类/分类/回归/协同过滤等)的接入工作，运用C/C++.Java.Python.Shell等，实现算法平台的功能落地。

  所需技能： 系统架构、java

• 来源：北京九章云极科技有限公司

  高级大数据架构师

  岗位职责1.负责离线及实时方向数据系统的统一规划.设计及落地，为产品交付提供更加高效的数据系统支持；2.参与产品的架构规划.性能优化.稳定性保障建设.技术难题攻坚；3.组织.协调.推动一些重点项目.技术规范等在部门内部的落地，包括方案讨论及设计.需求把控.项目拆解及进度管理；4.进行部门内外及业内的技术影响力建设，参与培训未来数据人才，有效辅导团队，提升数据研发能力。任职资格1.精通关系型数据库（至少一种）：Myql/PotgreSQL/Greenplum/TiDB2.熟练大数据和流式计算技术(至少一种):Spark/Flink/Kafka/Storm3.扎实的编码能力，熟练掌握Java/C/C++至少一种，精通数据结构4.对数据治理.数据仓库.OLAP聚合服务方面有丰富的经验；5.对高性能数据服务建设（10w+qp）方面有丰富的经验；6.富有激情和创造力，学习能力强，良好的团队合作能力具有以下条件者优先满足以下条件者优先：1.对ClickHoue/DeltaLake/ApacheHudi/ApacheIceberg某一项有深入理解，可优先考虑2.熟悉容器和云技术,K8S.Docker等3.开源项目贡献者和维护者4.英文流利

  所需技能： 大数据架构、微服务架构、分布式数据库

• 来源：深圳光汇石油集团股份有限公司

  高级大数据架构师

  岗位职责：1.研究与跟踪大数据新技术发展方向和规划，针对公司大数据业务进行框架设计；2.负责公司大数据产品的技术选型.设计.研发和维护，参与产品从立项到交付的全生命周期工作；3.参与研发团队的日常技术交流与分享，为其他同事提供技术指导与帮助；4.深入了解业务需求与业务逻辑，同产品.业务相关同事密切沟通和配合；5.负责公司产品研发过程中的技术架构及数据处理逻辑文档的沉淀与积累。------------------------任职要求：1）统招本科学历以上，计算机.数学.统计学及相关专业毕业；2）5年以上系统架构设计经验，具备独立负责产品或系统开发的成功经验；3）精通Hadoop生态系统及相关组件（如HDFS,Spark,MapReduce,Hive,HBae等），精通Java编程语言和算法；4）熟悉主流数据库技术，精通SQL，有较强的SQL编码及调优能力；5）具备SparkSQL，SparkML实战经验，精通SparkSQL。6）熟悉分类.聚类.推荐算法的原理，及其应用场景，有两个以上算法应用调优实战经验。7）有tenorflow实战经验优先考虑。

  所需技能： hadoop、java、系统架构

• 来源：北京友友天宇系统技术有限公司

  高级大数据架构师

  职位要求：1.精通java/cala等编程技术，熟悉常用算法，熟悉多线程；有分布式开发的实践经验；2.有技术追求，coding能力强，有很强的问题解决能力；3.有主流大数据计算引擎（包括但不限于Spark.Flink.Hive.Impala等）实际应用经验，对原理有比较深入的理解，有调度(或ETL)系统.引擎平台的产品化.二次开发的经验；4.有大规模集群分布式数据库(hbae.kudu等)，或者minio.ceph等分布式存储有应用或二次开发的实践经验的加分；5.对数据处理(实时/离线).数据仓库(数据湖).数据分析等业务处理过程有深刻体会，对业界的发展趋势有独立见解的加分；6.对AzureDataFactory.GoogleCloudDataFlow.AliDataWork等类似产品有经验的加分；7.对k8调度机制有深入实践，对argo.kubeflow等引擎有实践经验的加分；8.对金融领域的规则引擎.决策引擎.风控引擎等产品有开发.产品经验的加分；岗位职责：1.参数批处理/实时处理平台datapipeline.dataflow.规则引擎等产品的产品设计.架构设计.核心开发等工作；2.参与Spark.hive.SparkStreaming.flink.kafka.hbae.kudu.impala等组件的应用架构设计.专家支持等工作；3.参与大数据离线/实时计算平台.数据中台.数据湖等平台系统的应用架构优化.性能改进.功能扩展.故障分析等工作；4.参与其他任务；

  所需技能： 分布式技术、多线程、Scala