职位&公司对比

职位详情

• 成都
• 3-5年
• 本科

• Python
• Django
• Flask
• Tornado
• Redis
• MySQL
• 爬虫经验

岗位职责： 1、负责设计和开发网络爬虫系统，完成关键信息的数据抽取、清洗、去重、分析等； 2、负责爬虫相关技术的研究和实现工作，比如APP破解、小程序破解、分布式爬虫、验证码破解、JS逆向反爬机制的研究等等；直聘 3、负责来自BOSS直聘公司爬虫的核心算法以及策略优化，熟悉采集系统的调度策略； 4、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量； 5、负责现有部分爬虫的完善、维护工作，实时监控爬虫的进度和警报反馈，提升爬虫系统稳定性、可扩展性； 6、能独立解决实际开发过程碰到的各类问题； 任职要求： 1、本科及以上学历，计算机相关专业； 2、至少3年及以上爬虫经验； 3、精通Pytbosshon语言，具有扎实的计算机基础和编程能力，熟悉常见的算法与数据结构，具有优秀的逻辑思维能力； 4、熟悉Mysql，redis，有过数据库调优和海量数据存储经验优先； 5、熟悉常见的直聘反爬机制，并对反爬具有一定的应对措施策略且有一定研究； 6、熟悉APP逆向、JS逆向、验证码破解、图像识别等技术; 7、熟悉常用网络协议、数据存储和数据处理技术； 8、熟悉linux系统环境、命令，shell、python脚本编写； 9、有电商网站、电商APP采集经验优先； 10、有机票行业从业经验优先。