技术SEO自查清单:10步让你的网站在Google上被找到
花了两周写了一个漂亮的网站,上线后发现 Google 搜不到、收录不全、排名垫底。你打开 Search Console,看着零星的展现和点击,怀疑是不是哪里少配了一行代码。
90% 的"SEO 问题"不是内容不够好,而是技术基础没做对。 robots.txt 拦住了爬虫、sitemap 指向了 404、meta 标签互相矛盾、结构化数据格式错误——这些问题不改,写再多文章也白费。
这份清单覆盖了从最基础的爬虫配置到最新的 AI 友好优化,10 个步骤,每个都能在 5 分钟内自查修复。没有废话,没有理论,直接开查。
第 1 步:robots.txt — 爬虫的第一道门
robots.txt 是爬虫访问你的网站时读的第一个文件。如果它里面有 Disallow: /,你的整个网站就从搜索引擎里消失了。
自检项:
- 访问
https://你的域名/robots.txt,确认返回 200 且内容正确 - 检查是否有
Disallow: /(如果你不是故意的,立刻删掉) - 确认
Sitemap:指向了正确的 sitemap URL - 如果有 AI 爬虫白名单需求,添加对应规则(见第 10 步)
常见错误:开发环境用了 Disallow: / 防止被收录,上线时忘了删。
# 正确的 robots.txt 示例
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Sitemap: https://alsay.net/sitemap.xml
第 2 步:sitemap.xml — 告诉搜索引擎你有什么
sitemap 是你给搜索引擎的"目录"。没有它,爬虫只能靠链接发现页面,小站的新页面可能要几周才会被收录。
自检项:
- sitemap.xml 是否可访问且返回 XML 格式
- 列出的 URL 是否全部返回 200(没有 404、301 重定向)
<lastmod>日期是否准确(不是全是同一个日期)- 是否在 Google Search Console 中提交了 sitemap
一个小站如果有 20 个页面,sitemap 里应该只有这 20 个 URL——不多不少。多余的 404 页面会降低 Google 对你网站结构的信任。
第 3 步:Meta 标签 — 搜索结果的"广告位"
当用户搜索时,你的页面在结果中只占两行:一个蓝色标题和一个灰色描述。这两行决定了用户是点进来还是划过去。
自检项:
<title>长度 30-60 个字符(中文约 15-30 字),包含核心关键词<meta name="description">长度 120-160 个字符,每页独立且不同<link rel="canonical">指向首选 URL 版本(避免 www vs 非 www 重复)- 每个重要页面有独立的 Open Graph 标签(og:title, og:description, og:image)
- Twitter Card 标签作为补充(不影响 Google,但影响社交分享)
排查工具:用浏览器右键"查看网页源代码",搜索 <title> 和 <meta name="description">,逐页检查。或者用 Screaming Frog 免费版(500 URL 内免费)批量爬。
第 4 步:结构化数据 — 让 Google 理解你的内容
标题告诉 Google 这页叫什么,结构化数据告诉 Google 这页是什么:是一篇文章、一个产品、一个组织、还是一个 FAQ。正确标记的页面会在搜索结果中获得富文本展示(星级、价格、FAQ 折叠等),点击率平均提高 15-30%。
自检项:
- 首页是否有
Organization或WebSite类型的 JSON-LD - 文章页是否有
BlogPosting或Article类型 - 用 Google Rich Results Test 验证格式
- 用 Schema.org Validator 检查语法错误
最少要有的结构化数据:
<script type="application/ld+json">
{
"@context": "https://schema.org",
"@type": "WebSite",
"name": "你的网站名",
"url": "https://你的域名/",
"description": "一句话描述",
"inLanguage": "zh-CN"
}
</script>
第 5 步:URL 结构 — 可读、稳定、有层级
一个好的 URL 本身就是 SEO 信号。它告诉用户和搜索引擎这个页面在网站中的位置。
自检项:
- URL 是否可读(
/blog/seo-checklist✓ vs/index.php?id=372&cat=14✗) - URL 是否包含中文(尽量避免,用英文或拼音 slug)
- 层级不超过 3 层(
/blog/posts/article-slug可以,再深就要考虑扁平化) - 旧 URL 是否有 301 重定向到新 URL
第 6 步:HTTPS 与安全 — Google 的硬门槛
HTTPS 从 2014 年起就是 Google 的排名因素。如果你的网站还是 HTTP,Chrome 会直接标"不安全",Google 排名也会被压制。
自检项:
- 全站 HTTPS,HTTP 自动 301 跳转到 HTTPS
- SSL 证书有效且到期时间 > 30 天(Let's Encrypt 自动续期)
- HSTS header 已设置(
Strict-Transport-Security: max-age=31536000; includeSubDomains) - 安全 headers 检查:securityheaders.com 评分 A+
第 7 步:Core Web Vitals — Google 的用户体验评分
从 2021 年起,Google 把页面体验纳入排名因素。三个核心指标:
| 指标 | 含义 | 及格线 |
|---|---|---|
| LCP (Largest Contentful Paint) | 最大内容渲染时间 | < 2.5s |
| INP (Interaction to Next Paint) | 交互响应延迟 | < 200ms |
| CLS (Cumulative Layout Shift) | 视觉布局偏移 | < 0.1 |
自检项:
- 用 PageSpeed Insights 测试首页和重要内页
- LCP 大的常见原因:未优化的图片、缺少 preload、服务器响应慢
- CLS 大的常见原因:无尺寸的图片/广告/嵌入、动态注入的内容
- 用 Lighthouse (F12 → Lighthouse 标签) 在本地复测
不要追 100 分。移动端 70+ 分就是及格,90+ 分是优秀。大多数个人站点的瓶颈是图片未压缩和没有 CDN,改了就能从 50 分跳到 85 分。
第 8 步:移动端适配 — 超过一半的流量来源
Google 使用移动优先索引(Mobile-First Indexing),即使用桌面版爬虫,排名也基于移动版页面的表现。
自检项:
- viewport meta 标签存在:
<meta name="viewport" content="width=device-width, initial-scale=1.0"> - 在 375px 宽度下页面可正常阅读(不缩放、不横向滚动)
- 点击目标不小于 48x48px(手指能点到)
- 用 Google 的移动设备适合性测试
第 9 步:内部链接 — 让爬虫能走遍你的网站
搜索引擎通过链接发现页面。如果一个页面没有任何内部链接指向它(孤岛页面),Google 就很难找到它。
自检项:
- 从首页出发,通过点击链接能否访问到网站的每个页面
- 导航栏是否包含了所有核心版块
- 文章之间是否有相关链接(上一页/下一页 或 相关文章)
- 面包屑导航是否在每个子页面上存在(对 SEO 和 UX 都有好处)
第 10 步:llms.txt 与 AI 友好 — 面向下一代搜索
ChatGPT、Claude、Perplexity 等 AI 产品越来越多地被用来搜索和获取信息。你的网站能不能被它们"读懂",直接影响在 AI 驱动的搜索结果中的曝光。
自检项:
- 网站根目录有
/llms.txt文件(Markdown 格式,列出网站核心页面和简介) - robots.txt 中是否为 AI 爬虫(GPTBot, Claude-Web, PerplexityBot)设置了白名单
- HTML 是否语义化:
<article>、<section>、<nav>等标签是否恰当使用
# llms.txt 示例
# alsay.net
> 幸运说明书是个人知识库与技术咨询门户,提供网页设计、SEO优化、技术写作服务。
## 核心页面
- [首页](https://alsay.net/): 品牌定位与服务概览
- [服务](https://alsay.net/services/): 四项核心服务详情
- [博客](https://blog.alsay.net/): 技术文章与实战记录
- [文档](https://docs.alsay.net/): 配置说明与操作手册
自查结果打分表
逐项检查,勾选通过的步骤:
| 步骤 | 检查项 | 通过? |
|---|---|---|
| 1 | robots.txt 正确配置 | ☐ |
| 2 | sitemap.xml 可访问且准确 | ☐ |
| 3 | Meta 标签逐页优化 | ☐ |
| 4 | 结构化数据验证通过 | ☐ |
| 5 | URL 结构清晰可读 | ☐ |
| 6 | HTTPS + HSTS 正确 | ☐ |
| 7 | Core Web Vitals 达标 | ☐ |
| 8 | 移动端友好 | ☐ |
| 9 | 内部链接完整 | ☐ |
| 10 | AI 友好(llms.txt) | ☐ |
评分:7+ 项通过 = 合格,9+ 项 = 优秀。如果少于 5 项,建议把前 4 步先做完——这 4 步覆盖了 80% 的常见问题。
工具速查表
- Google Search Console — 免费,必装。看展现、点击、索引状态
- PageSpeed Insights — CWV 打分 + 优化建议
- Screaming Frog — 桌面爬虫,批量检查 meta、状态码、重复内容
- Schema.org Validator — 结构化数据语法验证
- securityheaders.com — 安全 headers 评分
- ahrefs Webmaster Tools — 免费版可检查死链、外链、关键词