职位&公司对比

招聘中

爬虫工程师

-K
  • 移动互联网
  • A轮
招聘中

高级爬虫工程师

-K
  • 移动互联网
  • 天使轮

职位详情

  • 北京
  • 不限
  • 不限
  • Python

岗位职责: • 参与云合大数据分析平台的开发 • 网页爬虫构架设计与核心技术开发 • 平来自BOSS直聘台管理和BOSS直聘运维 技能要求: • 算法和数据结构基础 • 至少熟悉Pythokanzhunn、Java、C++、Perl等言中的一种 • 网页爬虫开发经验 • 分布式系统经验 加分项: • 大数据平台相关经验,如Spark,Hadoop,Kafka、HBase等 • 数据可视化、数据建模、数来自BOSS直聘据挖掘等经验

职位详情

  • 北京
  • 5-10年
  • 大专
  • 爬虫
  • 逆向

岗位职责: 1.对指定的网站进行网页抓取、数据提取、破解反爬策略; 2.负责多平台信息抽取、数据清洗、入库、服务化等研发和优化工作; 3.参与开发和设计分布式网络爬虫系统,进行信息的抓取和分析工作; 4.研究优化爬虫算法,提升爬虫系统的稳定性、可扩展性; 5.独立解决实际开发过程中碰到的各类产品数据需求和接口kanzhun来自BOSS直聘问题。 任职要求: 1.专科及以上学历,计算机相关专业,5年以上相关工作经验; 2.精通 Python 语言,精通常见boss开源爬虫框架; 3.精通 Charles等抓包工具,精通网页抓取原理及技术,精通正则表达式,熟练从结构化和非结构化的数据中获取信息; 4.精通 JS debugger、JS逆向; 5.精通 selenium 、DrissionPage 等自动化抓取技术; 6.熟悉 破解网站验证码、绕过机器人检测等技术; 7.熟悉 APP脱壳、APP逆向反编译; 8.熟悉 android & ios 自动化; 9.具备优秀的逻辑思维能力,对解决挑战BOSS直聘性问题充满热情,善于分析问题/解决问题。

技能解析

专有技能
  • 算法和数据结构
  • 结构基础
  • 大数据分析
  • 数据分析
  • 技术开发
  • 开发经验
  • 数据建模
  • 分布式系统
  • 数据结构
  • 数据可视化
  • 数据挖掘

    数据来自CSL职业科学研究室

    技能解析

    专有技能
    • 独立解决
    • 善于分析
    • 分析问题
    • 抓包工具
    • 可扩展性
    • 获取信息
    • 善于分析问题
    • 解决问题
    • 逻辑思维
    • 逻辑思维能力
    • 开发过程
    • 数据清洗

      数据来自CSL职业科学研究室

      工作时间

      上午09:30   -   下午06:30
      双休弹性工作

      工作时间

      上午9:00   -   下午7:00

      公司福利

      • 五险一金
      • 年终奖
      • 带薪年假
      • 员工旅游
      • 餐补
      更新于 2025-03-23