职位&公司对比

职位详情

• 上海
• 在校/应届
• 硕士

• Java
• Scala
• Spark

【岗位职责】 鲲鹏大数据致力于开源软件生态建设、主流大数据引擎增强、数据安全计算、大数据+AI智能化协作处理等关键路径，广泛应用于安平、互联网、运营商等领域。加入我们能够深度参与开源大数据组件（直聘如HDFS、Spark、Hive、HBase、Flink等）优化，成长为大数据领域专家。 1：负责大规模大数据集群在鲲鹏的生态建设，负责多场景包括但不限于查询引擎优化、数据安全计算、大数据+AI协同等优化方向的设计； 2：负责常见大数据开源组件例如HDFS、Spark、Hive、HBase、Flink等构建竞争力，负责方案设计、需求开发等工作； 3：结合客户痛点挖掘竞争力特性，解决大规模集群上的应用问题；结合ARM体系架构、指令、硬件加速器实现大数BOSS直聘据引擎软硬件协同优化； 【岗位要求】 1：熟练使用Java/C++/Scala至少一种编程语言； 2：熟悉HDFS/Spark/Hive/HBase/Flink/Doris等常见/组件，具备查询引擎优化能力的优先，熟悉Native Engine实现者优先； 3：熟悉ARM硬件架构、SIbossMD优化、硬件加速器能力者boss优先，有软硬件协同优化经验或大规模集群建设能力者优先；具备良好的沟通协作能力以及出色的执行力。