职位&公司对比
职位详情
- 上海
- 1-3年
- 硕士
- Python
- PyTorch
- Word2vec
- 自然语言处理项目经验
- 有国际期刊/会议论文发表
- 英文读写能力良好
工作职责: 开发GPT-3类千亿以上参数大规模预训练语言模型,复现ChatGPT,预训练多模态模型,应用于自动写作,自动摘要,信息检索,智能对话系统。 任职要求: 1.熟练掌握自然语言处理的算法和技术。熟练应用GPT-3, BERT, T5等预训练语言模型于下游任务,熟悉预训练技术,自监督学习,注意力机制,Transformer,多模态学习,RNN,Sequence2Sequence。 2. 有优秀的英文学术论文写作能力,在英文期刊和学术顶会ACL,EMNLP, AkanzhunAAI, NeurIPS等上发kanzhun表过学术论文 3.有大规模GPbossU集群并行计算,分布式机器学习,Hadoop/Spark经验者优先。 4.精通常用数据结构和算法。 5.计算机、物理、数学等相关专业, 6.扎实的编码能力,精通Python语言开发, 熟悉Pytorch,Tensorflow,熟练使用linux下的C/C++ 7.对人工智能世界前沿研究和算法有很高的热情,渴望用人工智能技术解决商业世界的难题。
职位详情
- 上海
- 1-3年
- 硕士
- 混合并行,模型训练
岗位职责: 1. 负责开发和优化大模型训练系统,使用混合并行、自动并行和通信优化等技术,提高内部模直聘型训练 的速度和效率; 2. 设计并实现高效的大模型训练工具,紧跟模型架构的演进,不断优化并行训BOSS直聘练BOSS直聘策略,以满足公司业 务发展的需求; 3. 深入进行大模型训练的性能分析,精准识别并解决训练过程中的性能瓶颈,确保训练效率最大化, 分挖掘硬件资源的潜力。 职位要求: 1. 拥有计算机科学或相关领域的硕士或博士学位,对分布式系统、机器学习系统有深入的理解和实践 经验 2. 熟悉常见的大模型训练细节,如LLM/VLM/Diffusion Model等 3. 精通PyTorch FSDP、DeepSpeed或Megatron-LM等任一分布式训练框架,优先考虑有大规模预训 练模系统优化经验的候选人 4. 具备强烈的责任心和进取心,拥有出色的团队合作能力和自我驱动力 5. 紧跟学术发展并能够复现相关论文
技能解析
- 写作能力
- C/C++
- 常用数据结构
- 数据结构和算法
- 自然语言
- 优秀的英文
- 数据结构和算
- 数据结构
- 编码能力
- 机器学习
数据来自CSL职业科学研究室
技能解析
- 开发和优化
- 训练框架
- 性能分析
- 系统优化
- 模型训练
- 分布式系统
- 团队合作能力
- 团队合作
- 合作能力
- 机器学习
数据来自CSL职业科学研究室
工作时间
工作时间
公司福利
- 底薪加提成
- 保底工资
- 绩效奖金
- 年终奖
- 定期体检
- 五险一金
公司福利
- 节日福利
- 零食下午茶
- 员工旅游
- 带薪年假
- 股票期权
- 年终奖
- 定期体检
- 补充医疗保险
- 五险一金
- 补充公积金