职位&公司对比

职位详情

• 杭州
• 3-5年
• 本科

• Python
• Go
• 爬虫

工作职责： 1.负责搭建和维护覆盖国内外的短视频数据抓取和实时监控系统，确保数据的全面性和时效性。 2.设计和优化分布式爬虫集群架构，提高抓取效率、和数据存储的稳定性。 3.运用模拟用户行为等前沿技术手段，提升爬虫系统的适应性。 任职要求： 1. 拥有在大规模分布式系统和网络爬虫领域的实际开发经验，能够处理高并发和大数据量的问题。 2. 精通Python、Go等编程语言，熟悉当前流行的爬虫框架、库和工具，boss能够高效实现复杂的爬虫逻辑。 3. 深入了解各大内容平台的反爬虫机制和策略，具备相应的技术手段和策略来规避和应对。 4. 具备优秀的系统架构设计能力，能够对现有系统进行性能优化，提升系统的处理BOSS直聘能力和稳定性。 加分项： 1.有移动端爬虫开发经验，熟悉手机群控或Root手机技术。 2.具备数据分析和处理能力，能够从大量数据中提取有价值的信息。 3.有成功的爬虫项目案例，特别是在短视频或社交媒体领域kanzhun。 4.对新技术有快速学习和应用能力，保持对行业动态的敏感性。 5.这个职位适合那些对数据抓取充满热情、技术精湛、注重团队合作的专业人士；我们期待您的加入，共同推动公司数据能力的增长和创新。