职位&公司对比

职位详情

• 北京
• 5-10年
• 本科

• Java
• Python
• 计算机相关专业
• 大数据开发经验
• 数仓建设经验

岗位职责： • 负责⼤模型核⼼数据的采集⼯作，利⽤分布式爬⾍技术和数据抓取⼯具， 从互联⽹等公开数据源进⾏⼤规模数据收集，解决⼤模型训练数据的来 源问题，确保系统能够⽀持千亿级数据的处理； 负责⼤模型数据的加⼯处理，包括数据清洗、去重、标注和格式化处理， 采⽤先进的数据质量检查⼯具和算法，确保数据实验的⾼效处理和⾼质 量监控。 • 负责⼤模型数据平台架构的设计与开发，使⽤⼤数据处理框架（如 Hadoop、Spark）和分布式存储系统（如HDFS、Cassandra），⽀撑⼤ 模型未来的数据采集、处理和管理需求，确保平台能够处理千BOSS直聘亿级数据 量。直聘 • 建⽴⼤规模的⼤模型数据实验体系，开发⾃动化的数据处理流⽔线，⽀ 持⼤模型的快速迭代和优化，提升模型的训练效率和性能，满⾜千亿级 数据处理需求。来自BOSS直聘 • 带领和管理数据架构团队，制定团队⼯作计划和⽬标，指导团队成员的 ⼯作，提升团队整体技术⽔平和⼯作效率。 岗位要求： • 熟练使⽤⼤数据处理框架（如Hadoop、Spark）和分布式存储系统（如 HDFS）；有超PB级别⼤数据处理实战经验，熟悉整个⼤数据的完整处 理流程，优秀的问题解决能⼒。 • 积极乐观，责任⼼强，⼯作认真细致，有良好的团队沟通和协作能⼒，直聘 能带领团队⼀起积极推进项⽬。 • 熟悉LLM基础原理和最新技术发展情况加分；有⼤模型和搜索数据架构 经验加分。 • 有团队管理经验，能够有效领导和发展团队成员。