职位&公司对比

招聘中

高级爬虫工程师

-K·薪
北京某中型人工智能公司

职位详情

  • 北京
  • 3-5年
  • 大专
  • erlang
  • Web前端
  • 游戏开发

岗位职责: 1、负责手机游戏服务器端逻辑设boss计与开发; 2、参与手机游服务器架构设计与开发; 3、参与服务器性能优化; 任kanzhun职资kanzhun格: 1、3年以上的网络游戏服务器开发经验; 2、熟悉基本的算法与数据结构,有良好的逻辑思维能力; 3、熟悉MySQL, NoSQL,以及缓存技术, 能进行数据存储设计和优化; 4、良好的沟通能力,做事主动负责,积极上进的心态BOSS直聘;吃苦耐劳,能承受工作压力; 5、有LAMP经来自BOSS直聘验者优先; 6、有Amazon AWS经验者优先。

职位详情

  • 北京
  • 5-10年
  • 本科
  • 爬虫
  • 逆向工程
  • 数据采集

职位描述 1、负责爬虫需求分析,分布式网络爬虫系统的开发和优化 2、负责实时kanzhun监控爬虫的运行状态和预警处理 3、负责海量数据爬取、清洗、解析、入库 4、负责持续维护爬虫系统的正常运行 职位要求 1、细心、良好的沟通和合作能力 1、对于常见网站的反爬技术如js加密混淆等有分析应用; 2、5年以上爬虫经验,精通python语言,熟悉正则表达式,熟悉html; 3、熟悉分布式系统; 4、熟悉Linux平台开发,并且熟悉多线程多进程编程、网络编程,熟悉HTTP、TCP/UDP协议; 5、熟悉mysql,redis,mongo等数据库的使用。 6、熟悉以下消息队列的一种、如kafka、pbossulsBOSS直聘ar、rocketmq 加分项 1、熟悉APP攻防逆向,包括但不限于:逆向分析、虚拟多开来自BOSS直聘等 2、对scrapy,pyppeteer,appinum或者其他爬虫框架有研究了解; 3、对大规模存储了解 4、熟悉golang

技能解析

专有技能
  • 良好的逻辑
  • 架构设计
  • 逻辑思维能力
  • 数据结构
  • 缓存技术
  • 数据存储
  • 沟通能力
  • 性能优化
  • 开发经验
  • 逻辑思维
  • 良好的逻辑思维
  • 游戏服务器端
  • 良好的逻辑思维能力
相同技能
  • 好的沟通

数据来自CSL职业科学研究室

技能解析

专有技能
  • 开发和优化
  • 海量数据
  • 需求分析
  • 系统的开发
  • 消息队列
  • 熟悉分布式
  • 分布式系统
  • 熟悉多线程
  • 网络编程
  • 合作能力
相同技能
  • 好的沟通

数据来自CSL职业科学研究室

备注

职位发布者未明确表明公司信息,具体可咨询职位发布人进行确认。

更新于 2025-02-23