职位&公司对比

招聘中

爬虫工程师

-K·薪
  • 互联网
  • 不需要融资
招聘中

数据采集工程师

-K
  • 铁路/船舶/航空/航天制造
  • 不需要融资

职位详情

  • 北京
  • 1-3年
  • 本科
  • JS逆向
  • 反爬
  • APP逆向
  • 数据采集

岗位描述: 1.负责AMiner产品的科技类数据、产业类数据采集。包括不限于论文、专利、咨询、智库等。 2.负责大模型的语料数据采集,包括不限于Code、文章、字幕、评论等。 3.负责全球化信息采集平台的开发,完成并维护调度、代理、解析等功能。 4.对于kanzhun网页数据、pdf数据等进行解析。 任职要求: 直聘【必要条件】 1.近期2年以上爬虫经验,对最新爬虫动向熟悉; 2.精通JS逆向,熟悉常加解密算法,有抖音、小红书、快手等主流网站web端采集经验; 3.有APP逆向经历,熟悉反编译工具jadx、jeb;熟悉Xposed,Frida 等Hook框架, 熟悉 Android 系统架构,有Xposed模块编写经验; 4.精通网页抓取原理及技术,熟练掌握正则表达式,xpath,cssBeautifulsoup等网页BOSS直聘解析技术;熟练从结构化和非结构化的数据中获取信息; 5.精通Python,具备扎实的编码能力,熟悉Linux环境,了解基本的指令; 6.BOSS直聘熟悉常用库mong来自BOSS直聘odb、mysql、kafka、redis、Elasticsearch等;熟悉数据库性能优化与常见缓存技术与策略; 7.熟悉tcp,http协议原理;熟悉ajax工作原理;熟悉fiddler,charles等抓包工具;熟悉常见反爬封禁策略,并具备相关的实战经验; 8.熟练掌握http/https等网络通信原理;对加密、解密等原理有一定的了解。 【加分项】 1.熟悉scrapy爬虫框架; 2.二开发scrapy爬虫框架; 3.验证码处理经验(极验滑块、点选,google recaptcha、百度旋转验证码); 4.大规模分布式采集经验。

职位详情

  • 北京
  • 3-5年
  • 本科
  • 数据采集

岗位职责: 1.负责分布式爬虫开发,数据采集、基本数据清洗、调度、监控、自动化运行等;。 2.负责平台平台风控调研与处boss理解决。 3.负责主流APP逆向破解工作,熟悉java/python/c/c++,能够及时解决常见的APP反编译、脱壳、加密参数破解BOSS直聘等问题。 任职要求: 1.学历:本科以上。 2.有大规模新闻网站/淘宝/天猫/美团/拼多多/千里马/采招网采集经验者优先(有其一即可) 。 3.有丰富的逆向工程经验,有新闻网站/淘宝/天猫/美团/拼多多/千里马/采招网APP逆向经验者优先 。 4.熟练使用Python分式爬虫框架,如scrapy/pyspider,有其一即可 。 5.逻辑思维清晰,有责任心,善于学习与来自BOSS直聘专研,有良好的团队合作意识与沟通能力。

技能解析

专有技能
  • 熟悉数据库
  • 信息采集
  • 获取信息
  • 系统架构
  • 缓存技术
  • 熟悉数据
  • 抓包工具
  • 性能优化
  • 数据库性能
  • 通信原理
  • 编码能力
  • 网络通信
相同技能
  • 数据采集

数据来自CSL职业科学研究室

技能解析

专有技能
  • 合作意识
  • 沟通能力
  • 善于学习
  • 团队合作意识
  • 处理解决
  • 逻辑思维
  • 团队合作
  • 数据清洗
相同技能
  • 数据采集

数据来自CSL职业科学研究室

工作时间

上午09:30   -   下午06:30
双休弹性工作

工作时间

上午9:00   -   下午5:00
双休偶尔加班

公司福利

  • 生日福利
  • 节日福利
  • 免费工装
  • 团建聚餐
  • 零食下午茶
  • 餐补
  • 包吃
  • 带薪年假
  • 股票期权
  • 年终奖
  • 定期体检
  • 补充医疗保险
  • 五险一金
  • 定期团建

公司福利

  • 五险一金
  • 年终奖
  • 股票期权
  • 带薪年假
  • 员工旅游
  • 餐补
  • 通讯补贴
  • 交通补助
  • 节日福利
更新于 2024-12-25