网络爬虫是捜索引擎抓取网页的重要组成部分

网络爬虫是捜索引擎抓取网页的重要组成部分。爬虫的主要目的是将互联网上的网页下载到本地形成一个或联网内容的镜像备份。这篇文章主要对爬虫以及抓取网页进行一个简单的概述。