职位&公司对比

职位详情

• 北京
• 3-5年
• 本科

• 爬虫工程师
• Python
• Golang
• 爬虫开发经验
• 反爬策略和实践经验

职位描述： 1、负责分布式网络爬虫系统平台的架构设计与开发（如抓取调度，多样化抓取直聘，页面解析和结构化抽取，海量数据存储和读boss取等）、技术选型、现有框架优化； 2.研究及制定爬虫策略和防屏蔽规则，提升各端抓取的效率和质量及对各类互联网数据的采集抓取。 3、利用主流的大数据相关技术，对抓取后的网页数据进行清洗、存储等；并持续优化平台，以便满足各种爬取业务需求； 4、把握网络爬虫核心技术研究方向，研究优化算法，提升爬虫系统的稳定性、可扩boss展性； 5、开发结构化数据抽取和解析的可视化平台，提升数据抓取解析开发运营效率； 职位要求： 3～5年工作相关工作经验； 良好的代码能力，扎实的数据结构和算法功底，有快速迭代、逐步优化的工程项目经验； 精通爬虫和反爬技术，精通http底层协议； 精通APP抓取，深度抓取、动态网页技术抓取、浏览器模拟抓取技术等，从结构化的和非结构化的数据中获取信息； 熟悉分布式系统、多线程，精通一种开源爬虫框架，熟练scrapy、pyspider、webmagic、nutch等其中一个或多个爬虫框架以及原理，有开发爬虫框架经验； 对主流爬虫架构有深入研究，具有成熟爬虫工具的设计及运维经验； 有很强的学习能力和技术钻研能力，积极主动，思维灵活开放，有良好的沟通能力，善于跨团队合作；