各大行业职位任你选
首次验证通过即注册BOSS直聘账号
相似职位更多相似职位
-
爬虫工程师 15-20K·13薪
职位对比
麦克斯泰
北京
-
高级爬虫工程师 15-20K·13薪
职位对比
木卫四
北京
-
数据采集工程师（高级） 14-22K
职位对比
意讯无限
北京
-
爬虫工程师 14-28K·14薪
职位对比
奇安信集团
北京
-
爬虫工程师（北京） 18-30K·14薪
职位对比
北京一路无忧科技
北京
职位描述
- 爬虫工程师
- Python
- Golang
- 爬虫开发经验
- 反爬策略和实践经验
1、负责分布式网络爬虫系统平台的架构设计与开发（如抓取调度，多样化抓取，页面解析和结构化抽取，海量数据存储和读取等）、技术选型、现有框架优化；
2.研究及制定爬虫策略和防屏蔽规则，提升各端抓取的效率和质量及对各类互联网数据的采集抓取。
3、利用主流的大数据相关技术，对抓取后的网页数据进行清洗、存储等；并持续优化平台，以便满足各种爬取业务需求；
4、把握网络爬虫核心技术研究方向，研究优化算法，提升爬虫系统的稳定性、可扩展性；
5、开发结构化数据抽取和解析的可视化平台，提升数据抓取解析开发运营效率；
职位要求：
3～5年工作相关工作经验；
良好的代码能力，扎实的数据结构和算法功底，有快速迭代、逐步优化的工程项目经验；
精通爬虫和反爬技术，精通http底层协议；
精通APP抓取，深度抓取、动态网页技术抓取、浏览器模拟抓取技术等，从结构化的和非结构化的数据中获取信息；
熟悉分布式系统、多线程，精通一种开源爬虫框架，熟练scrapy、pyspider、webmagic、nutch等其中一个或多个爬虫框架以及原理，有开发爬虫框架经验；
对主流爬虫架构有深入研究，具有成熟爬虫工具的设计及运维经验；
有很强的学习能力和技术钻研能力，积极主动，思维灵活开放，有良好的沟通能力，善于跨团队合作；
张先生 本周活跃
竞争力分析
人中排名第BOSS 安全提示
BOSS直聘严禁用人单位和招聘者用户做出任何损害求职者合法权益的违法违规行为，包括但不限于扣押求职者证件、收取求职者财物、向求职者集资、让求职者入股、诱导求职者异地入职、异地参加培训、违法违规使用求职者简历等，您一旦发现此类行为， 请立即举报
了解更多职场安全防范知识工商信息
- 公司名称北京哈希泰格信息科技有限公司
- 法定代表人张玉睿
- 成立日期2019-03-20
- 企业类型有限责任公司（法人独资）
- 经营状态存续
- 注册资金100万人民币
工作地址
点击查看地图
精选职位
更新于：2024-10-01
电子营业执照
京公网安备11010502032801
关注BOSS直聘微信服务号
