问:什么是百度爬虫?
答:百度爬虫又叫百度蜘蛛,是百度抓取网页的一个小程序。由于按照网页间的连接进行抓取,被人们形象的成为百度爬虫或百度蜘蛛。
问:百度爬虫是干什么?
答:由于互联网的网页是在一直增加的,所以百度需要发现最新产生的网页,这就需要对新的连接地址进行不断的抓取,当发现新链接以后,就对网页进行下载、分析,并给出排名。例如,百度爬虫从hao123开始抓取,批量分析出了,新浪、搜狐、优酷等网页, 新浪网站发了新闻,新闻链接便会出现,百度爬虫抓取下来,和原有链接库进行对比,发现新链接,就将新链接下载下来。