各大行业职位任你选
首次验证通过即注册BOSS直聘账号职位描述
- 爬虫 Python
- 数据抓取/挖掘
1. 负责搭建爬虫系统平台的架构设计与开发,如抓取调度、多样化抓取、页面解析和结构化抽取、海量数据存储和读取等,调研并进行技术选型,优化框架及流程;
2. 研究并制定爬虫策略和防屏蔽规则,提升抓取效率和质量;
3. 负责公司爬虫核心技术开发,维护和优化程序,监控警报反馈,深度挖掘数据,满足公司对多源数据海量、实时、高质量采集要求;
4. 利用主流大数据相关技术,对抓取后的数据进行清晰、存储等,持续优化;
5. 把握爬虫核心技术研究方向,研究优化算法,提升数据抓取解析开发运营效率,解决规模增长带来的技术和业务问题。
岗位要求:
1. 本科及以上学历,计算机相关专业,5年以上网页及APP数据采集经验;
2. 熟悉爬虫原理,分布式架构,精通一种开源爬虫框架及原理,熟悉主流爬虫技术,如协议破解、脱壳、模拟点击、AST解混淆等,能够解决封账号、封IP、验证码等问题;
3. 精通Go/Python任意语言,熟悉MySQL,Redis等;
4. 熟悉Selenium/Puppeteer/PhantomJS至少一种工具的使用。
5. 熟悉xpath/正则表达式/代理池等爬虫相关技术;
6. 具有良好的沟通和团队协作能力,具备良好的数据基础,工作条理清晰,善于学习;
7. 有管理经验,带过团队优先。
刘女士 3日内活跃
竞争力分析
BOSS 安全提示
BOSS直聘严禁用人单位和招聘者用户做出任何损害求职者合法权益的违法违规行为,包括但不限于扣押求职者证件、收取求职者财物、向求职者集资、让求职者入股、诱导求职者异地入职、异地参加培训、违法违规使用求职者简历等,您一旦发现此类行为, 请立即举报
了解更多职场安全防范知识公司介绍
工商信息
- 公司名称北京图森智途科技有限公司
- 法定代表人郝佳男
- 成立日期2017-03-02
- 企业类型有限责任公司(台港澳法人独资)
- 经营状态存续
- 注册资金40000万美元
工作地址
点击查看地图
精选职位
更新于:2024-10-06