职位&公司对比

职位详情

• 广州
• 不限
• 本科

• 爬虫
• 浏览器指纹

爬虫工程师 岗位职责： 1.分析公司爬虫系统在使用过程中遇到的技术难题，例如反爬机制、IP封锁等问题，并提出解决方案 2.定期评估爬虫系统的性能和稳定性，持续更新爬虫系统的效率和稳定性。 3.跟踪反爬技术社区以及爬虫系统目标应用网站的技术更新，确保爬虫系统能够适应变化。 4.参与团队内部的技术分享和讨论，促进团队来自BOSS直聘技术成长。 任职要求： 1.深厚的技术背景：计算机科学或相关专业本科及以上学历，3年以上爬虫开发实战经验。 2.熟悉浏览器指纹技术，了解User-Agent直聘、Cookies、IP池轮换、浏览器行为模拟等反反爬策略，有使用过指纹浏览器产品的经验。 3.熟悉Python编程或Javascript编程，熟练掌握pupeeteer、Scrapy、Selenium、req来自BOSS直聘uests等爬虫框架中的一个或多个。 4.优秀的解决问题能力：面对复杂的网络来自BOSS直聘环境和反爬挑战，能快速定位问题并提出解决方案。 5.英文阅读能力强，能够无障碍阅读和学习英文技术文档及资源。