职位&公司对比

职位详情

• 北京
• 5-10年
• 本科

• 大模型算法
• 文本生成
• C/C++
• Python
• 预训练

职位性质：全职 工作职责： 1.参与蛋白质或NLP大语言模型预训练的相关研发和优化，包括预训练boss大模型方案实现、改进、调优； 2.针对下游生物领域的任务，包括符蛋白质、复合物折叠，蛋白稳定性等任务进行fine-tuning，跑出SOTA水平； 3.维护千亿语言模型持续训练和微调，应对超大规模语言模型出现的计算不稳定性问题，保障计算效率以及计算资源利用率； 4.对预训练大模型训练/评测数据进行boss分析、整理、优化； 职位要求： 1.熟悉生成式和理解式的各类语言模型架构，深入理解Transformer等变体以及算子，并能够对其改进，同时优化模型健康度； 2.熟悉NLP 、CV、生物计算中的下游和评测任务，对任务和模型能力有一定的理解，能够运用大模型优化任务； 3.有在千卡集群上训练过百亿级以上的稠密Trans直聘former模型者优先； 4.熟boss悉以下一项或多项技术框架或模型优先: GLM, Megatron, DeepSpeed, ESM2, PEFT, OpenFold; 5.在自然语言处理或机器学习顶会（ACL，EMNLP，NAACL，ICML，NeurIPS, ICLR) 或有丰富的刷榜经验者优先；  6.同时具备大模型任boss务调优经验和大模型HPC经验者优先；