职位&公司对比

职位详情

• 北京
• 1-3年
• 本科

• 爬虫工程师

岗位职责： 1、数据采集：负责使用Python及相关boss工具进行网络数据的采集工作，确保数据的完整性和准确性。 2、数据清洗：对采集的数据进行清洗，去除无来自BOSS直聘效、错误和重复的数据，提高数据质量。 3、数据处理：对清洗后的数据进行加工处理，包括数据转换、聚合等，以满足业务需求。 4、数据模型构建：根据业务需求，构建合适的数据模型，为数据分析和应用提供支持。 5、技术优化：持续优化爬虫程序的性能，提高数据采集效率和稳定性。 任职要直聘求： 1、熟练掌握Python编程语言，具有良好的编程习惯和代码管理能力。 2、熟练使用linux系统及shell脚本语言。 3、熟练使用requests库进行HTTP请求，处理网络请求和响应。 4、熟练使用Scrapy等相关爬虫框架，熟悉多线程数据采集。 5、掌握Selenium自动化测试工具，用于处理JavaScript渲染的页面。 6、熟练使用re、bs4、XPath等技术，从结构化或非结构化的数据中进行数据提取。 7、熟练使用Mysql、MongoDB、Redis等关BOSS直聘系型非关系型数据库。 8、熟悉前端相关技术，能够解析和处理HTML文档，能够处理动态加载的网页内容。 9、熟悉常见的反爬机制，如IP限制、验证码、混淆加密等，有逆向相关经验。 学历与经验要求： 学历：本科及以上学历，计算机相关专业。 工作经验：1-3年。