羽勒网络科技招聘

职位描述：

• 爬虫
• 网络爬虫技术
• 爬虫经验
• Scrapy
• 数据开发
• 后端
• Python

岗位职责： • 负责对多平台数据源（WEB/APP/H5/小程序等）进行爬虫设计、开发与维护，以及相应信息的抽取、清洗、消重、匹配和结构化处理，保证数据质量与采集效率 • 攻克解决各类反爬问题，如JS 混淆逆向、字体加密、行为验证码等 • 有效地与业务、一线人员、产品经理进行沟通，进行迭代开发 • 负责参与设计爬虫系统、爬虫管理平台 任职资格： • 3年以上爬虫相关经验，2年以上Python开发经验，至少使用过一种Python WEB框架 • 熟悉Linux平台，熟练掌握Python开发语言以及PEP8，具备良好的编码能力 • 掌握常用的数据结构、掌握多线程/协程编程 • 熟练掌握一种爬虫框架，例如scrapy、scrapy-redis、pyspider，熟悉爬虫系统、分布式爬虫设计原理 • 熟悉TCP/IP，HTTP/HTTPS等相关网络协议，以及数据抓包、分析 • 熟练掌握JavaScript逆向，能够处理常见的反爬虫，熟悉常用的应对方案 • 熟练使用MySQL、MongoDB、redis、ES等 • 了解App抓取方案 加分项： • 有知名社交、电商、短视频网站或APP爬取经验的优先 • 熟悉一二线反爬虫产品的优先

马先生 3日内活跃

羽勒网络科技 · 高级爬虫工程师