typecho博客如何配置Robots.txt

编辑

Robots.txt是一个存放在网站根目录的纯文本文件(必须小写命名),采用ASCII编码格式。其核心功能是通过声明规则,指导搜索引擎蜘蛛(如Googlebot、Baiduspider)抓取权限范围:

​- 允许访问:开放优质内容抓取,提升SEO收录效率

  • ​禁止抓取:保护敏感数据(如后台/admin/、临时文件/tmp/)
  • ​资源优化:减少无效页面抓取,节省服务器带宽

基础语法结构

User-agent: [指定搜索引擎名称]
Disallow: [禁止路径]
Allow: [允许路径]
Sitemap: [网站地图地址]

User-agent:指定规则适用的蜘蛛(*表示所有引擎)
​路径规则:支持绝对路径(如/admin/)和通配符(*匹配任意字符,$标识结尾)

为typecho配置robots.txt

在网站根目录下新建txt文本,名字为robots.txt(全是小写字母),然后放置下方的代码即可,如果你站没有安装网站地图插件,那sitemap那行可以删掉。

User-agent: *
Disallow: /admin/
Disallow:/install/
sitemap:https://你的域名/sitemap.xml

这里的意思就是,所有搜索引擎禁止爬后台路径以及程序安装路径,并告知网站地图链接。

评论区

暂无评论,快来抢沙发