职位&公司对比

职位详情

• 北京
• 在校/应届
• 硕士

• 大模型算法
• 自然语言处理算法
• 分布式训练
• 算法工程化经验
• 发表算法相关优秀论文

工作职责: 1、参与基于海量数据的NLP大模型关键技术突破来自BOSS直聘，研发面向领域的基座大模型； 2、参与百亿参数以上超大模型的训练与性能优化； 3、参与大规模预训练数据的清洗、分布、采样等算法流程优化，提升预训练模型数据质量； 4、完成预训练模型在通用场景和领域业务等场景中直聘的应用并实现业务目标； 5、深入调研和关注大模型预训练方向的前沿技术，包括低层算子优化、MOE、模型加速等，并进行持续创新和优化。 任职资格: 1、硕士及以上学历，在自然语言处理、大语言模型等相关工作和项目落地经验者优先； 2、精通深度学习框架(PyTBOSS直聘orch等)，能够独立完成算法和模型的开发和优化; 3、熟练掌握PyTorch、Megatron、DeepSpeed等框架，了解各种并行策略，并具备大规模分布式训练的经验； 4、具备百亿量级大模型的预训练、微调和强化学习等方向的技术应用经验； 5、出色的大模型研究能力，有高质量论文和开源项目BOSS直聘的产出者优先； 6、自驱力强，注重结果导向，具有良好的协作能力和沟通能力，富有想象力和创造力。