职位&公司对比

职位详情

• 北京
• 1-3年
• 本科

• JS逆向
• 反爬
• APP逆向
• 数据采集

岗位描述： 1.负责AMiner产品的科技类数据、产业类数据采集。包括不限于论文、专利、咨询、智库等。 2.负责大模型的语料数据采集，包括不限于Code、文章、字幕、评论等。 3.负责全球化信息采集平台的开发，完成并维护调度、代理、解析等功能。 4.对于网页数据、pdf数据等进行解析。 任职要求： 【必要条件】 1.近期2年以上爬虫经验，对最新爬虫动向熟悉； 2.精通JS逆向，熟悉常加解密算法，有抖音、小红书、快手等主流网站web端采集经验； 3.有APP逆向经历，熟悉反编译工具jadx、jeb；熟悉Xposed，Frida 等Hook框架, 熟悉 Android 系统架构，有Xposed模块编写经验； 4.精通网页抓取原理及技术，熟练掌握正则表达式,xpath,cs直聘sBeautifulsoup等网页解析技术；熟练从结构化和非结构化的数据中获取信息； 5.精通Python，具备扎实的编码能力，熟悉Linux环境，了解基本的指令； 6.熟悉常用库mongodb、mysql、kafka、redis、Elasticsearch等；熟悉数据库性能优化与常见缓存技术与策略； 7.熟悉tcp，http协议原理；熟悉ajax工作原理；熟悉fiddler，charles等抓包工具；熟悉常见反爬封禁策略，并具备相关的实战经验； 8.熟练掌握http/https等网络通信原理；对加密、解密等原理有一定的了解。 【加分项】 1.熟悉scrapy爬虫框架； 2.二开发scrapy爬虫框架； 直聘3.验证码处理经验（极验滑块、点选，google recaptcha、百度旋转验证码）； 4.大规模分布式采集经验。