各大行业职位任你选
首次验证通过即注册BOSS直聘账号职位描述
- Python
- 网络爬虫技术
- 搜索引擎技术
- MySQL
- MongoDB
- Redis
- GIT
2. 对核心算法的策略优化研究,提升爬虫抓取效率和质量
3. 针对大规模数据爬虫的性能进行优化
4. 精通正则表达式、http协议、网页解析和信息抽取技术
5. 能够从结构化和非结构化的数据中提取所需数据
6. 掌握多种反爬处理方法,防屏蔽规则。精通 scrapy 和scrapyd,熟练使用splash 和selenium 配合scrapy解决反扒问题。
爬取流程(提供可视化界面)
1. 选择网站(可选多个)
2. 设置爬取内容
3. 选择是否抓取图片
4. 设置内容标签
5. 设置爬取频率
6. 为内容分配存储位置
7. 针对不同App、不同功能为其推送不同的抓取内容
后期优化方向
1. 爬虫效率优化
2. 信息质量,信息抽取优化
3. 爬取数量优化
4. 爬取算法,反爬虫优化

黄先生 本周活跃
竞争力分析


BOSS 安全提示
BOSS直聘严禁用人单位和招聘者用户做出任何损害求职者合法权益的违法违规行为,包括但不限于扣押求职者证件、收取求职者财物、向求职者集资、让求职者入股、诱导求职者异地入职、异地参加培训、违法违规使用求职者简历等,您一旦发现此类行为, 请立即举报
了解更多职场安全防范知识工商信息
- 公司名称北京经融方元广告传媒有限责任公司
- 法定代表人黄少能
- 成立日期2017-02-13
- 企业类型有限责任公司(自然人投资或控股)
- 经营状态存续
- 注册资金100万
工作地址
点击查看地图
精选职位
页面更新时间:2025-02-24