职位&公司对比

职位详情

• 石家庄
• 3-5年
• 大专

• Python
• 分布式经验
• 爬虫经验
• Numpy
• MySQL
• Redis

岗位职责： 1、负责设计和开发分布式爬虫和调度系统，爬虫核心算法和调度策略优化； 2、负责部分网站验证码破解和现有爬虫系统效率的提升； 3、负责网络数据抓取规划和数据链路规划、高效且稳定爬取指定网站的数据； 4、构建高可用性、高可扩展性的网络信息搜集平台； 5、优化现有数据清洗，数据提取，结构化，入库等过程； 6、深度思考并参与业务等数据瓶颈，并有效解决； 7、项目中遇到其他问题。 任职要求 1、计算机相关专业，pyth来自BOSS直聘on语言，3-5年爬虫经验； 2、有独BOSS直聘立负责过爬虫来自BOSS直聘平台搭建、爬虫系统处理经验，爬虫项目规划能力；； 3、熟悉Scrapy、Pyspider、nutch、webmagic等主流爬虫框架使用，了解js引擎技术等优先考虑； 4、熟悉js逆向，混淆原理，js语法树，客户端常用签名算boss法等。 5、具备web挖掘等搜索引擎相关知识，有丰富的网络爬虫、网页去重、网页信息抽取的经验， 6、掌握网页抓取原理及技术，包括基于Cookie的登录管理，基于headless的采集，熟悉正则表达式、XPath、Jsoup等网页信息抽取技术。 7、熟悉Linux平台开发、常用操作及命令，良好的编码习惯，有独立思考的能力，善于解决问题。 8、具备较强的团队协作精神，工作责任心强，boss良好的沟通、理解和执行能力。