职位&公司对比

招聘中

数据爬虫工程师

-K
  • 大数据
  • 不需要融资
招聘中

高级爬虫工程师

-K
  • 互联网
  • 不需要融资

职位详情

  • 上海
  • 3-5年
  • 本科
  • 爬虫

1、设计和开发分布式网络爬虫系统,并进行多平台信息抓取和分析工作; 2、负责网页信息抽取、数据清洗等研发和优化工作; 3、负责抓取数据的深度提取和挖掘。 任职资格: 1、精通Java,三种编程语言中的至少一种; 2、精通scarpy网页抓取原理及技术,精通正则表达式,从结构化的和非结构kanzhun化的数boss据中获取信息; 3、熟悉sql server,有过数据库调优和海量数据存储经验优先; 4、具有大型web登录分析和BOSS直聘搜索相关技术研发经验者优先; 5、具有数挖掘、自然语言处理、信息检索、机器学习背景者优先。

职位详情

  • 上海
  • 5-10年
  • 本科
  • python
  • 数据爬取

1、负责垂直聘直领域数据爬取和分析; 2、负责爬虫系统的设计与开发及日常系统监控维护; 3、负责研究优化爬虫算法,提升爬虫系统的稳定性、可扩展性; 4boss、负责设计爬虫策略和防屏蔽规则,提boss升效率和质量; 5、能独立解决实际过程中碰到的各种问题; 6、负责日常数据采集系统的迭代,积极响应业务需求。 任职要求 1、6年以上的数据爬取相关工作经验; 2、熟练掌握 Python, NodeJS, numpypandas; 3、 熟练掌握 js逆向,断点调试,hook等技能; 4、kanzhun有解决決复杂的反爬限制实践经验,能解决如图片验证码、滑块、账号限制、ip限制等问题; 5、良好的团队合作意识,对技术饱有热情。

技能解析

专有技能
  • 数据存储
  • 海量数据
  • 机器学习
  • 自然语言
  • 编程语言
  • 海量数据存储
  • 获取信息
  • 研发经验
  • 数据库调优
  • 数据挖掘
  • 数据清洗

    数据来自CSL职业科学研究室

    技能解析

    专有技能
    • 系统监控
    • 提升效率
    • 合作意识
    • 独立解决
    • 可扩展性
    • 团队合作意识
    • 系统的设计
    • 团队合作
    • 数据采集

      数据来自CSL职业科学研究室

      工作时间

      上午09:00   -   下午06:00
      双休弹性工作

      工作时间

      上午10:00   -   下午08:30
      双休弹性工作

      公司福利

      • 五险一金
      • 加班补助
      • 年终奖
      • 带薪年假
      • 员工旅游
      • 通讯补贴
      • 交通补助
      • 节日福利
      • 零食下午茶

      公司福利

      • 五险一金
      • 绩效奖金
      • 底薪加提成
      • 股票期权
      • 节假日加班费
      • 工龄奖
      • 员工旅游
      • 零食下午茶
      • 生日福利
      • 交通补助
      更新于 2025-03-23