职位&公司对比

职位详情

• 广州
• 3-5年
• 大专

• 爬虫
• 唯品会

职位职责： 1.负责多平台信息爬取和页面内容的提取分析； 2.研究各种网站、网页、链接的形态，发现它们的特点和规律； 3.解决技术疑难问题，包括反爬、压力控制等； 4.设计各种策略和算法，提升抓取效果；充分利用带宽资源，避免限制， 职位要求： 1.计算机及相关专业，5年以上工kanzhun作经验；有大规模爬取电商（京东，唯品，Shein）或者社boss交（ins，小红书）或者第三方电商数据后台（知衣，大作）的经验。 2.精通js逆向技术，熟悉js混淆，熟悉常见的前端反爬策略，具有海量数据处理和分布式计算开发经验者优先； 3.精通计算机网络，熟练掌握Python，Java,多线程，HTML，JS/CSS等技术，熟悉Scrapy框架或其他的Web scraping framework； 4.精通网页抓取原理及技术，熟悉XPath,CSS等网页抽取技术； 5.有丰富的Linux系统使用经验，熟悉MySQL、Redis等kanzhun，熟悉Internet基本boss协议（如TCP/IP，HTTP等）； 6.能够解决封账号、封IP采集、验证码识别、图像识别等问题,解决网页抓取、信息抽取等问题,构建完善的网络信息收集平台； 7.有分布式爬虫架构经验者优先；