快速从网站上收集相关数据只需几秒即可在网站中抓取您需要的数据。网络爬虫能够根据您选择的标准有效地爬取任何网站，并顺利地将完整的数据返回给您。
轻松控制范围，定制您的最终结果有了网络爬虫，您可以完全控制创建和进程。您还可以使用筛选器和抓取参数（如正则表达式、代理地理位置、结果存储等）指定网站的抓取方式。
以指定的格式检索您的结果根据您的数据需求获得结果。有三种输出格式：URL 列表（网站地图）、一组 HTML 文件，以及解析后数据。也可将结果文件上传到您的云存储。
网络爬虫是如何工作的？
网络爬虫是 Rola IP 爬虫 API 的插件，允许您利用 API 的抓取和解析功能实时大规模网站爬取。
用户输入
形成确定爬取范围的输入值，指定抓取参数，并向作业启动端点提交请求。
网络爬虫
通过页面之间的链接穿过网站，直到无法再发现符合用户指定模式的新 URL。
爬取结果
将结果文件（网站地图、解析后数据或 HTML 文档）汇总为一个或多个结果文件。
传输到云端
可将文件上传到客户指定的 AWS S3 等云存储位置。
来自客户经理的寄言
当您从一个网站上提取数据之前，您通常需要先做一些网络爬取，以找到您感兴趣的特定 URL。网络爬虫可以自动为您解决这个问题。
网络爬虫是对爬虫 API 的一个很好的补充，它可以让您使用 Rola IP 的免维护基础架构高效地探索和收集数据。
常见问题
什么是网络爬虫？
网络爬虫是 Rola IP 爬虫 API 的一项功能，它可以爬取任何网站，选择有用的内容，并完成批量交付。
网络爬虫有何作用？
网络爬虫可以探索网站上的所有页面，并实时大规模获取数据。该工具将跟踪从初始网页到其他网页的链接，直到访问并搜索了在一个特定网站上能找到的所有网页。
爬取网站的行为是否合法？
该答案取决于您目前的具体任务。在爬取之前，应确保您符合所访问特定公共领域的相应法律。建议寻求专业的法律指导。