PYTHON爬虫工程师

相关职位简介

• 来源：河北英搜网络科技有限公司

  PYTHON爬虫工程师

  岗位职责1.熟悉Scrapy.有丰富的爬虫及反爬虫相关经验;2.负责复杂验证码的破解技术调研和实现，负责爬虫技术的调研和破解;3.研究反爬机制，处理抓包.下载等环节的疑难问题;4.负责数据下载.抽取.清洗.分类.聚类等工作;5.负责爬虫核心算法的优化.充分利用资源。任职要求1.大专以上学历，3年爬虫经验;2.大规模网络内容采集系统项目经验;3.对网页数据抓取.信息提取.去重.清洗有丰富经验;4.精通爬虫相关语言，python或nodej等;5.对分布式领域有一定了解，具有开发.调试或维护的相关经验;薪资可商议~~~~

  所需技能： Python、Scala、Java

• 来源：深圳优匠教育科技有限公司

  PYTHON爬虫工程师

  岗位职责1.扎实的Python开发能力,有Web爬虫开发经验;2.熟悉MySQL,Redi,MongoDB数据库的常规使用;3.设计爬虫策略和防屏蔽规则;4.熟悉HTTP协议,熟悉正则表达式.Xpath.CSS选择器等,了解常用验证码识别技术;5.具备大规模爬虫系统设计能力,熟悉评论采集等厂家数据采集任务;6.有分布式爬虫架构经验者优先;7.抗压能力强,能够独立攻克工作中的技术难点;8.有单日百万级数据量抓取,复杂验证码破解处理经验;任职要求：1.统招大专或以上学历，2年以上工作经验：2.年数据爬取.数据挖掘工作：3.熟练掌握python，了解javacript.等网页解析相关经验优先。工作时间（大小周）早上9点-晚上6点（7.5小时）为什么选择我们1.优越的薪酬底薪+法定假期+年假+社会保险+节日福利+团建活动+津贴奖金2.高素质群体优匠教育服务的客户群体为各行各业中乐于学习.积极进取的企业老板。爱学习，赢人生，与爱智求真的人相伴，你的人生也将持续增值。3.广阔的平台跨境电商属于朝阳产业，这几年刚进入中国，现在属于如火如荼；优匠教育是跨境电商行业领导者，跟随着跨境电商进入国内时开办，优匠教育创始人是转型成功跨境电商亚马逊最早一批卖家，也是优匠教育首席讲师，行业最资深运营专家，他带领了多名优秀实战型老师，全国各地开设课程多门跨境电商培训课程。强大的平台支持你的到来，虚位以待。4.强大的培训从员工到高管，从高层到老板，从技能到管理，均有系统化培训。5.有趣有爱的团队90后团队，激情有活力，快乐育人.积极向上，公司不定期举办各类文化活动—免费下午茶.体育活动.员工聚餐.团建活动.户外拓展.旅游活动.表彰大会等~

  所需技能： Python、Pandas、Charles、参数检验、SQL、MongoDB、Scrapy、分布式爬虫

• 来源：河北英搜网络科技有限公司

  PYTHON爬虫工程师

  岗位职责1.熟悉Scrapy.有丰富的爬虫及反爬虫相关经验;2.负责复杂验证码的破解技术调研和实现，负责爬虫技术的调研和破解;3.研究反爬机制，处理抓包.下载等环节的疑难问题;4.负责数据下载.抽取.清洗.分类.聚类等工作;5.负责爬虫核心算法的优化.充分利用资源。任职要求1.大专以上学历，3年爬虫经验;2.大规模网络内容采集系统项目经验;3.对网页数据抓取.信息提取.去重.清洗有丰富经验;4.精通爬虫相关语言，python或nodej等;5.对分布式领域有一定了解，具有开发.调试或维护的相关经验;薪资可商议~~~~

  所需技能： Python、Scala

• 来源：上海纳纳科技有限公司

  PYTHON爬虫工程师

  岗位职责：1.参与爬虫项目的架构设计.研发.编程工作，改进和提升爬虫效率；2.设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量；3.负责后台爬虫数据的分布式存储设计以及代码实现；4.负责网页采集任务的分析及采集方案设计；5.负责分布式爬虫策略持续优化。岗位要求：1.2年+爬虫经验，至少熟练掌握Java/Python/Go/JS其中一种语言；2.熟悉目前主流的一些爬虫框架；3.有解决复杂的反爬限制实践经验，能解决如图片验证码/滑块/账号限制/ip限制等问题。

  所需技能： Python、数据挖掘、python爬虫、爬虫

• 来源：成都瑞派克科技有限公司

  PYTHON爬虫工程师

  岗位职责：1.分布式爬虫和数据采集系统的设计.开发；2.研究爬虫策略.防屏蔽规则，提升网页抓取的效率和质量；3.海外各类互联网数据的采集抓取；4.理解系统数据处理流程以及业务功能需求；5.负责核心算法的设计与开发；岗位要求：1.2年以上实际的爬虫项目经验，扎实的计算机系统.算法.数据结构基础；2.熟悉python常用模块的使用，熟悉python的高级用法和性能优化，有良好的编码风格；3.熟练掌握html/xpath/Ajax/jon/xml/正则表达式等爬虫常用技能;4.熟悉linux系统，熟悉myql.redi，mongodb等，熟悉Internet基本协议（如TCP/IP.HTTP等）；5.有分布式爬虫架构经验者.数据库调优和海量数据存储经验者优先；6.具有抓包.数据挖掘.数据分析.自然语言处理.信息检索.机器学习背景者优先；7.有实际项目开发经验.熟悉项目管理流程.开发规范.源码管理流程.版本发布流程优先；8.计算机相关专业，本科以上学历优先；

  所需技能： 网络爬虫技术、数据挖掘、数据分析、数据采集、Python、Redis、MongoDB

• 来源：上海纳纳科技有限公司

  PYTHON爬虫工程师

  职位描述：1.参与爬虫项目的架构设计.研发.编程工作，改进和提升爬虫效率；2.设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量；3.负责后台爬虫数据的分布式存储设计以及代码实现；4.负责网页采集任务的分析及采集方案设计；5.负责分布式爬虫策略持续优化。任职要求：1.熟悉多线程.网络编程，精通网页抓取原理及技术的实现细节；2.熟悉基于规则的网页信息抽取，精通正则表达式；3.从结构化的和非结构化的数据中获取信息，对网页数据抓取.信息提取.去重.清洗有一定经验；4.了解分布式计算和储存技术以及相关原理；5.热爱互联网，对搜索技术和探索未知领域有浓厚兴趣。

  所需技能： 分布式技术、网络爬虫技术、架构师

• 来源：上海驿悦航空服务有限公司

  PYTHON爬虫工程师

  职责描述：1.负责设计和开发网络爬虫，进行多平台网页.APP等数据的抓取和分析；2.设计爬虫策略和防屏蔽规则，解决封账号.封IP.验证码等难点攻克，提升网页和APP的抓取效率和质量3.系统解决动态网页内容抓取.深度网页内容抓取.API接口数据爬取；4.实现大规模数据的抓取及数据清洗工作。任职要求：1.本科及以上学历，计算机等相关专业，1-3年相关工作经验；2.英语CET-6以上水平，能准确理解国外网站上的信息（技术能力强者英语能力要求可放宽）3.精通Python语言，有Python相关的开发经验，熟练使用requet.xpath.Selenium.BeautifulSoup，正则等；4.熟悉Linux系统及Linux常用命令5.熟悉网页抓取原理及技术，能够总结分析不同网站，网页的结构特点及规律；6.有丰富的解决复杂的反爬限制经验，能解决如图片验证码/滑块/账号限制/IP限制等问题；7.熟悉myql.oracle等数据库，有过数据库调优和海量数据存储经验者优先；8.拥有良好的沟通.交流能力；做事严谨，注重细节9.熟悉软件开发流程，良好的编码习惯.编码风格

  所需技能： Python

• 来源：杭州涂鸦信息技术有限公司

  PYTHON爬虫工程师

  岗位职责:1.负责商业化爬虫系统的设计.开发；2.抓取数据的清洗.落地.分析；3.抓取策略算法的更新维护，以及确保数据抽取准确.高效。岗位要求：1.具备强悍的编码能力.扎实的数据结构和算法功底；2.熟悉TCP，HTTP协议原理；熟悉ajax工作原理，精通Python或Java编程；3.有爬虫.信息抽取.文本分类.大数据处理相关经验优先；4.能够独立解决各种反爬虫策略；5.能够熟练使用自动化测试工具以及抓包工具；6.能够处理各种登录验证，有管理网站cookie信息实效性经验；7.熟悉Scrapy开源爬虫框架和源码，能够使用分布式进行高并发请求；8.有自然语言处理.机器学习经验优先.有电商项目经验者优先；

  所需技能： Python、SQL、scrapy、linux、爬虫

• 来源：武汉唯理科技有限公司

  PYTHON爬虫工程师

  岗位职责：1.负责研究网站特质，数据要素分析.提取.整合，网页信息抓取.解析.数据清洗等研发工作；2.维护现有网络爬虫系统，完成数据采集与爬取.解析处理.入库等数据日常工作；3.负责爬虫核心技术研发.反爬应对策略研究；4.负责前沿技术学习跟进.持续优化现有爬虫架构体系；岗位要求:1.计算机相关专业优先，工作经验不限；2.熟悉python编程语言；3.熟悉至少一种爬虫框架，例如crapy.requet等；4.熟悉HTML5/CSS3/JavaScript等前端技术；5.了解常见反爬方式以及对应的应对策略；6.工作积极主动，良好的学习能力及沟通能力；

  所需技能： Python、大数据、人工智能

• 来源：广州探迹科技有限公司

  PYTHON爬虫工程师

  岗位职责：1.负责网络爬虫系统的设计与开发工作；2.负责多平台的信息抓取.解析等研发与优化工作；3.负责抓取信息的深度提取与挖掘。任职要求：1.熟练网页抓取原理.技术及正则表达式，熟练从结构化和非结构化的数据中获取信息；2.熟练使用python技术；3.有较丰富的分布式爬虫系统开发经验，熟悉HTML.JavaScript等前端技术；4.熟悉Linux操作系统；5.精通crapy.crapy-redi等开源框架，对crapy-redi有深入了解;6.熟练使用django.flak等后台服务框架7.熟悉反爬虫.验证码识别技术者优先；8.熟悉mq.kafka.docker.ES技术者优先；9.熟练使用myql.mongoDB等数据库

  所需技能： Python、爬虫、大数据、Hbase