Screaming Frog SEO Spider 怎么用？抓取网站与技术 SEO 审计

第一次抓取先控制范围

小站可以直接从首页抓取；大型网站则应先限定子目录、文件类型或 URL 规则，避免不必要的参数页和资源把抓取量占满。抓取前也要确认自己有权限对目标站点进行自动访问。

Screaming Frog 的价值在于把网站抓取结果集中到一个可筛选的表格里。第一次使用时先抓一个较小站点，理解状态码、标题、canonical、robots 和链接关系，再去碰更复杂的自定义提取。

404、错误重定向、重要页面 noindex、canonical 指错、孤儿页和严重内链异常通常比“标题少几个字”优先级高。技术审计应先处理会阻止用户和搜索引擎到达内容的问题。

抓站前要确认范围，避免把测试环境、无限参数 URL 或不必要的外部链接一起拉进来。大型站点尤其要设置合理限制，否则你得到的不是更多洞察，而是一堆难以整理的数据。

很多报告项目只是规则检查，例如标题长度、H1 数量或描述缺失。是否真的需要修改，要结合页面类型和搜索意图，不要为了把报告全部变绿而统一模板。

工具能发现“可能的问题”，但不能自动判断优先级。几十个重复标题和一个错误 canonical 的业务影响完全不同，真正修复前要结合页面价值、索引状态和实际流量判断。

本地抓取只能看到从入口能发现的链接。把 sitemap、Analytics 或 Search Console 数据导入后，更容易发现“搜索引擎知道但站内抓不到”的孤儿页面和历史 URL。

最实用的工作流通常是：抓取—筛选—抽样验证—修复—再抓一次。不要把一次扫描报告直接当成 SEO 待办清单，先确认问题是否真实、是否值得修。