爬虫研发工程师

相关职位简介

• 来源：杭州多麦电子商务股份有限公司

  爬虫研发工程师

  岗位职责1.负责数据采集爬虫项目的开发与维护，优化爬取性能及采集策略；2.研究和破解电商及自媒体app反爬策略，保证爬取的稳定性；3.开发和维护爬虫框架，实现爬虫的常规指标的监控及预警。任职要求1.熟悉http/http协议，掌握动态网站原理。能抓包进行数据接口分析；2.了解web/app常见的反爬机制，具有常规电商网站反爬的项目经验；3.熟练掌握python编程语言，熟悉requet/crapy等爬虫组件或框架，熟悉多线程编程。4.熟悉redi/myql/mongodb等常规数据库使用；5.有app采集及逆向分析经验者优先。

  所需技能： 网络爬虫技术

• 来源：深圳市财盈通科技有限公司

  爬虫研发工程师

  岗位职责：1.参与分布式爬虫和数据采集系统的架构设计和开发；2.负责网络数据抓取规划.定期爬取指定网站的数据；3.设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量；4.参与数据层建设，专注于垂直领域数据爬取，进行多平台信息的抓取和分析；5.实现数据提取.清洗.结构化.入库.统计分析等需求；6.研究优化算法，提升爬虫系统的稳定性.可扩展性。任职要求：1.本科以上学历，计算机相关专业，有爬虫和反爬虫开发经验优先，有App爬取经验优先；2.熟悉linux平台开发，精通Python，熟悉常用的爬虫框架和工具；3.熟悉MongoDB.Redi.Myql，掌握MQ，了解HBae.KAFKA等；4.熟悉HTTP协议，熟悉正则表达式.XPath.CSS选择器等，了解常用验证码识别技术；5.能独立解决实际开发过程碰到的各类问题

  所需技能： 网络爬虫技术、Python

• 来源：南极电商（上海）有限公司

  爬虫研发工程师

  职位描述：1.参与分布式爬虫系统和数据采集系统的架构设计及开发,进行多平台（电商平台经理必须）信息的抓取采集;2.负责网页/接口信息的抽取,去重,清洗和入库;3.实时监控爬虫的进度和报警反馈;4.保证数据的完整性和准确性;5.安卓Android逆向和强代码.熟悉多线程者优先；任职要求:1.大专及以上学历.计算机或相关专业.两年以上爬虫开发经验;2.熟练掌握Python语言,熟悉开源框架Scrapy,elenium等;3.熟悉Redi,Myql/Sqlerver,Mongodb等关系型/非关系型数据库,并具备一定的调优经验;4.有解决IP限制,账号限制,验证码限制等反爬限制经验的优先;5.良好的团队合作意识,负责任的工作态度;单双休

  所需技能： Python、网络爬虫技术

• 来源：北京博晓通科技有限公司

  爬虫研发工程师

  岗位职责：1.参与分布式爬虫的开发和维护，进行多平台相关信息的抓取和分析2.负责网页信息抽取.数据清洗等研发和优化工作3.参与爬虫核心算法的策略优化研究，提升网页抓取的效率和质量4.参与爬取微信公众号和APP的研究工作5.针对不同网站的反爬虫技术提出有效的应对策略；6.能独立解决实际开发过程碰到的各类问题。任职要求：1.计算机.数学.统计学或相关专业本科以上学历2.精通VC++等编程语言，并熟悉各种浏览器内核3.熟悉网页抓取原理及技术，熟悉各种网页解析的策略和算法，熟悉基于正则表达式.XPath.CSS等网页信息抽取技术，熟悉基于Cookie的网站登录原理4.有良好的沟通能力，语言表达能力，团队协作能力，工作细心，认真负责5.熟悉python语言的优先6.具有数据挖掘经验者优先我们赋予你的挑战任务就是实现人人共享数据，人人参与信息采集的核心工作之一，我们用精细化的高质量数据，避免专业用户被海量信息淹没。

  所需技能： 网络爬虫、爬虫工程师、爬虫架构

• 来源：北京国信宏数科技有限责任公司

  爬虫研发工程师

  岗位职责：1.参与爬虫系统的架构设计与开发；2.参与爬虫核心算法的策略优化研究；3.负责指定网站页面的抓取和提取处理；4.负责日常网络数据抓取需求的实现及采集数据的质量监控；任职要求：1.国家统招本科以上学历；2.熟练使用JAVA编程语言；3年以上工作经验；至少1年以上java爬虫开发经验；3.精通抓包工具至少一种，具备扎实的数据结构与算法功底；4.熟练掌握网页抓取原理及技术.多线程.TCP/HTTP协议等；5.熟悉爬虫工作流程以及各种反爬技术，并能提出相应解决方案；6.熟悉Nutch/Heritrix/larbin/WebMagic等中的一种或多种开源采集技术；7.有分布式爬虫架构经验.互联网广域爬虫经验优先考虑；8.有app开发经验,熟悉app破解技术者优先考虑；

  所需技能： Java、java爬虫

• 来源：深圳致星科技有限公司

  爬虫研发工程师

  岗位职责：1.负责设计和开发分布式爬虫系统，进行多平台多终端信息的抓取和分析2.负责数据挖掘相关算法，做数据分析和处理3.建立完整的数据获取.解析.入库和监控流程，优化系统瓶颈不断迭代完善4.有验证码破解，反爬，分布式爬虫架构，数据挖掘，搭建数据仓库经验5.研究优化算法，提升爬虫系统的稳定性和可扩展性6.对区块链有热情，有区块链经验佳任职资格：1.统招本科及以上学历，计算机.数学或电子等相关理工科专业，具有3年及以上开发经验2.基础扎实，熟练掌握Python等，熟悉Linux开发环境3.精通爬虫原理，熟悉crapy/pypider框架等4.熟悉MySQL.MongoDB.Redi数据库5.优秀的独立分析.解决问题能力，对处理未知的.挑战性问题充满激情6.对区块链有热情，有区块链经验佳

  所需技能：