职位&公司对比
职位详情
- 广州
- 3-5年
- 本科
- 开发
- 数据处理
岗位工作内容: 1. 设计、开发和维护高效、可靠的网络爬虫系统。 2. 解析不同格式的网页内容(HTML、JSON、XML等),并提取所需数据。 3. 处理大量数据,保证数据的准确性和完整性。 4. 优化爬虫性能,确保爬虫运行的高效性BOSS直聘和稳定性。 5. 处理反爬虫机制,确保数据抓取来自BOSS直聘的持续性。 6. 与数据分析团队合作,提供高质boss量的数据支持。 7. 维护和扩展现有爬虫框架和工具。 8. 监控爬虫运行状态,及时解决异常问题。 本岗位任职资格: 1. 教育背景:计算机科学、软件工程或相关专业专科及以上学历。 2. 工作经验:2年以上网络爬虫相关工作经验。 3. 编程技能:熟练掌握Python及其相关的爬虫库(如Scrapy、BeautifulSoup、Selenium等)。 4. 数据处理:熟悉常见的数据格式和处理方法,具备一定的数据清洗和数据预处理能力。 5. 网络知识:了解HTTP协议及网络基本原理,熟悉常见的反爬虫机制及应对方法。 6. 数据库:掌握至少一种数据库技术(如MySQL、MongoDB等)。 7. 工具使用:熟悉Linux操作系统及常用命令,BOSS直聘能够BOSS直聘使用Git进行代码管理。 8. 问题解决能力:具备良好的分析和解决问题的能力,能够独立处理爬虫过程中遇到的各种技术难题。 9. 团队合作:具备良好的沟通能力和团队合作精神,能够与其他团队成员紧密合作。 10. 学习能力:对新技术充满热情,具备较强的学习能力和自我驱动力。
职位详情
- 广州
- 3-5年
- 本科
- JS逆向
- JSHook
- Fiddler
- TikTok
- Python
岗位职责: 1、精通主流爬虫框架,熟练使用 Python 和 Selenium 开发爬虫,能够根据需求进行数据清洗,并为不同数据源设计爬虫逻辑; 2、擅长解决各种反爬来自BOSS直聘问题,如 JavaScript 混淆逆向、字体加密和验证码破解; 3、能够与业务人员和产品经理有效沟通,进行迭代开发; 4、参与设计分布式爬虫系统和管理平台,负责爬虫系统的存储、传输、调度和监控的设计与研发; 任职资格: 1、拥有3年以上的大规模网页爬虫和Pyth直聘on开发经验,精通多线程和协程编程,熟练使用至少一种Python后端框架; 2、熟练掌握Scrapy、Scrapy-Redis、Feapder等爬虫框架,深入理解爬虫系统和分布式爬虫设计原理,能够解决账号封禁、IP封锁、验证码识别和图像识别等问题; 3、熟悉Fiddler、Charles、Reqable等网络协议分析工具; 4、精通TCP/IP、HTTP/HTTP来自BOSS直聘S等网络协议,具备数据抓包和分析能力; 5、精通web hook等调式方式; 6、擅长JavaScript逆向,能够快速应对常见的反爬虫措施,熟悉各种应对方案和反爬虫产品; 7、具有处理TikTok、Instagramboss等海外网站相关经验者优先; 8、了解Android及iOS的逆向工程,能够分析和破解移动应用的反爬虫机制; 加入我们,享受贴心福利: 1.近地铁,番禺广场E口; 2.9:00-18:30,弹性上下班,周末双休,法定节假日随国家放假; 3.购买五险一金,入职既享; 4.提供午餐(三菜一汤); 5.除端午、中秋、春节外,父亲节、母亲节、儿童节均有丰富的节日礼品; 6.公司设有零食架,两周一kanzhun次下午茶活动,两月一次团建活动,省内外团建游; 7.一年2次调薪机会,每年3月固定晋升月; 8.免费体检,定制年度体检,健康才是革命的本钱; 9.活力办公氛围:95、00后小伙伴云集,轻松活跃的工作环境等你来体验!快来加入我们,一起创造精彩吧!!
技能解析
- 沟通能力和
- HTML
- JSON
- 软件工程
- 工具使用
- 数据分析
- 学习能力和
- 沟通能力
- 紧密合作
- 技术难题
- 数据库技术
- 合作精神
- 数据处理
- 解决能力
- 良好的分析
- 分析和解决问题的能力
- 问题解决能力
- 团队合作精神
- 解决问题的能力
- 编程技能
- HTTP协议
- 解决问题
- 团队合作
- 代码管理
- 数据支持
- 问题解决
- 较强的学习
- 大量数据
- 基本原理
- 好的沟通
- 学习能力
- 分析和解决问题
- 数据清洗
数据来自CSL职业科学研究室
技能解析
- 协议分析工具
- 分析工具
- 分析能力
- 开发经验
- 有效沟通
- 网络协议
- 设计与研发
- 数据清洗
数据来自CSL职业科学研究室
工作时间
工作时间
公司福利
- 生日福利
- 节日福利
- 通讯补贴
- 免费班车
- 有无线网
- 团建聚餐
- 零食下午茶
- 员工旅游
- 带薪年假
- 工龄奖
- 法定节假日三薪
- 节假日加班费
- 加班补助
- 绩效奖金
- 年终奖
- 定期体检
- 意外险
- 补充医疗保险
- 五险一金
公司福利
- 生日福利
- 节日福利
- 团建聚餐
- 零食下午茶
- 员工旅游
- 带薪年假
- 加班补助
- 年终奖
- 定期体检
- 五险一金