谈搜索引擎的爬虫喜好

2015-08-09 来源:   阅读：885次

很多同学发现爬虫到访次数少，问我搜索引擎爬虫喜欢什么样的网站，今天就谈一下爬虫的喜好。

1、域名权重高的链接，大部分搜索引擎都有page级别的，域名权重高，下面链接爬虫就越喜欢（百度官方称：出身很重要）。
2、目录层次少的链接，百度官方也提过。
3、参数少的链接，链接中参数多，有些爬虫不能识别，所以参数越少越好，最好伪静态。
4、响应速度快的网页，爬虫很忙，长时间打不开的网页爬虫不喜欢。
5、经常有新的页面，如果网站长时间不更新，爬虫会降低到访次数。
7、避免有死循环，例如有些网站放了日历，使爬虫陷入循环，爬虫不喜欢。 笔者能想到的只有这些，如果你发现其他爬虫喜好，欢迎投稿。