职位&公司对比

职位详情

• 广州
• 1-3年
• 本科

• python
• selenium
• Beautifulsoup
• 系统设计
• scrapy

岗位职责： 1. 负责设计、开发和维护高效、稳定的爬虫系统，从各种在线数据源中抓取和解析数据，以实现自动化数据采集和更新。 2. 熟练使用Python或其他相关语言进行爬虫开发，拥有扎实的编码和调试能力，并能够编写直聘高质量的可维护代码。 3. 精通各种爬虫框架和工具，如Scrapy、BeautifulSoup、Selenium等，能够根据需求灵活选择和使用，同时熟悉反爬虫机制的解决方案。 4. 具备大规模boss分布式爬虫系统设计和开发经验，能够解决分布式爬虫中的挑战和问题，如任务调度、数据同步和去重等。 5. 深入理解网络协议和网页结构，能够处理复杂的页面结构和动态内容，熟悉前端kanzhun技术和相关工具。 6. 熟悉数据库（如MySQL、MongoDB）的使用，能够设计和优化数据存储和查询方案，具备数据清洗和处理的能力。 7. 能够分析和解决kanzhun爬虫中的技术难题，如验证码处理、IP代理池、请求优化、反反爬虫等，并具备相应的工程实践经验。 任职要求： 1.本科及以上学历，计算机科学等相关专业背景优先考虑. 2. 具备卓越的沟通和团队合作能力，能够与产品、运维等团队紧密合作，理解并满足业务需求，完成项目目标。 3. 对新技术和行业动态保持敏感，具备持续学习和创新的精神，能够应用新的爬虫技术和工具，推动技术的发展。 4.具备责任心和良好的团队协作精神，乐于沟通交流和分享，充满激情，乐于接受挑战。