各大行业职位任你选
首次验证通过即注册BOSS直聘账号职位描述
- 多模态
- 大模型
- 数据架构负责人
- 互联网/AI
负责大模型核心数据的采集工作,利用分布式爬虫技术和数据抓取工具,从互联网等公开数据源进行大规模数据收集,解决大模型训练数据的来源问题,确保系统能够支持千亿级数据的处理;
负责大模型数据的加工处理,包括数据清洗、去重、标注和格式化处理,采用先进的数据质量检查工具和算法,确保数据实验的高效处理和高质量监控;
负责大模型数据平台架构的设计与开发,使用大数据处理框架(如Hadoop、Spark)和分布式存储系统(如HDFS、Cassandra),支撑大模型未来的数据采集、处理和管理需求,确保平台能够处理千亿级数据量;
建立大规模的大模型数据实验体系,开发自动化的数据处理流水线,支持大模型的快速迭代和优化,提升模型的训练效率和性能,满足千亿级数据处理需求;
带领和管理数据架构团队,制定团队工作计划和目标,指导团队成员的工作,提升团队整体技术水平和工作效率。
岗位要求:
熟练使用大数据处理框架(如Hadoop、Spark)和分布式存储系统(如HDFS);有超PB级别大数据处理实战经验,熟悉整个大数据的完整处理流程,优秀的问题解决能力;
积极乐观,责任心强,工作认真细致,有良好的团队沟通和协作能力,能带领团队一起积极推进项目;
熟悉LLM基础原理和最新技术发展情况加分;有大模型和搜索数据架构经验加分;
有团队管理经验,能够有效领导和发展团队成员。"
认证资质

罗先生
竞争力分析


BOSS 安全提示
BOSS直聘严禁用人单位和招聘者用户做出任何损害求职者合法权益的违法违规行为,包括但不限于扣押求职者证件、收取求职者财物、向求职者集资、让求职者入股、诱导求职者异地入职、异地参加培训、违法违规使用求职者简历等,您一旦发现此类行为, 请立即举报
了解更多职场安全防范知识精选职位
页面更新时间:2025-03-02