什么是搜索引擎蜘蛛抓取份额?_蜘蛛技巧_超级蜘蛛池
顾名思义,抓取份额是搜索引擎蜘蛛花在一个网站上的抓取页面的总的时间上限。对于特定网站,搜索引擎蜘蛛花在这个网站上的总时间是相对固定的,不会无限制地抓取网站所有页面。 抓取份额的英文 用的是 ,直译是爬行预算,我觉得不太能说明是什么意思,所以用抓取份额表达这个概念。抓取份额是由什么决定的呢 这牵扯到抓取需求和抓取速度限制。 一、抓取需求 抓取需求, ,指的是搜索引擎 想 抓取特定网站多少页面。 决定抓取需求的主要有两个因素。一是页面权重,网站上有多少页面达到了基本页面权重,搜索引擎就想抓取多少页面。二是索引