在本例中使用格式的日志文件我通

[account_disabled]

通过日志文件分析我们将能够了解您的网站有什么样的抓取预算以及哪里存在导致抓取预算浪费的问题。理想情况下我们希望为爬虫提供最高效的爬行体验。爬行不应该浪费在低价值页面和上例如优先级页面产品页面不应该有较慢的索引和爬行速度因为网站有如此多的自重页面。该游戏的名称是抓取预算节约良好的抓取预算转换会带来更好的有机搜索性能。查看用户代理爬行的查看网站爬行的频率可以快速揭示搜索引擎将时间花在爬行上的位置。


如果您有兴趣查看单个用户代理的行为这很简单只需过滤掉中的 澳大利亚 WhatsApp 号码列表 相关列即可。过过滤列然后过滤列以显示抓取此示例网站主页的次数这是查看是否存在任何问题区域的快速方法通过单个用户代理的词干。您可以更进一步查看茎列的过滤选项在本例中为从这个基本菜单中我们可以看到正在爬网的包括资源文件以快速识别任何有问题的参数化的不应被抓取例如被抓取。您还可以使用数据透视表进行更广泛的分析。




要获取特定用户代理抓取特定的次数请选择整个表转到插入数据透视表然后使用以下选项我们所做的就是通过用户代理以词干作为行进行过滤然后对每个出现的次数。通过我的示例日志文件我得到以下内容然后为了按特定进行过滤我单击了包含全部的单元格上的下拉图标并选择了了解哪些不同的机器人正在抓取移动机器人的抓取方式与桌面的抓取方式有何不同以及抓取次数最多的位置可以帮助您立即了解哪些地方存在抓取预算浪费以及网站的哪些区域需要改进。