/* 336x280*/
Robots.txt 文件用法举例：
例1. 禁止所有搜索引擎访问网站的任何部分
User-agent: * Disallow: /
例2. 允许所有的 Robot 访问
或者也可以建一个 robots.txt 空文件
User-agent: * Disallow: 或者 User-agent: * Allow: /
例3. 禁止 Spider 访问特定目录
在这个例子中，该网站有两个目录对搜索引擎的访问做了限制，即 Robot 不会访问这两个目录。需要注意的是对每一个目录必须分开声明，而不能写成 “Disallow: /cgi-bin/ /tmp/” 的形式。
User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/
例5. 允许访问特定目录中的部分 URL
User-agent: * Allow: /cgi-bin/tmp Disallow: /cgi-bin/
例6. 使用 “*” 限制访问 URL
禁止访问 /cgi-bin/ 目录（包含子目录）下的所有以 “.htm” 为后缀的 URL 地址。
User-agent: * Disallow: /cgi-bin/*.htm
例7. 使用 “$” 限制访问 URL
仅允许访问以 “.htm” 为后缀的 URL 地址。
User-agent: * Allow: .htm$ Disallow: /
例8. 禁止访问网站中所有的动态页面
User-agent: * Disallow: /*?*
例9. 禁止 Spider 抓取某种格式的图片
User-agent: * Disallow: .jpg$
WordPress 的 Robots.txt 一般写法：
User-agent: * Disallow: /wp- Disallow: /feed/ Disallow: /comments/feed Disallow: /trackback/
/* 336x280*/
版权所有，转载请注明出处。
转载自 <a href="http://www.mangguo.org/use-robotstxt-optimize-wordpress/" title="用 Robots.txt 优化 WordPress" rel="bookmark">用 Robots.txt 优化 WordPress | 芒果小站</a>
已经有 3 条群众意见
- mianfei
#1/2009-04-25 03:51挺实用的，谢谢了。 回应
- 利用Robots.txt优化wordpress | 埃右小居
#2/2009-08-15 20:37[...] 引用来源 AKPC_IDS += "5742,"; var sogou_param = new Array(); sogou_param["pid"] = 'ellfame'; sogou_param["ct"] = 'context'; sogou_param["fmt"] = 'v_250_250'; sogou_param["iw"] = '250'; sogou_param["ih"] = '250'; sogou_param["charset"] = 'gb2312'; sogou_param["c_bo"] = 'FFFFFF'; sogou_param["c_bg"] = 'FFFFFF'; sogou_param["c_li"] = '0055E5'; sogou_param["c_te"] = '000000'; sogou_param["c_bt"] = '000000'; sogou_param["c_hl"] = 'EE6911'; sogou_param["sv"] = '1'; sogou_param["sl"] = '1'; sogou_param["hl"] = '0'; 分类: 博客代码 标签: seo, wordpress, 优化 RANDOM POSTS [...] 回应
- dongbinghua
#3/2010-09-13 16:49我一般是全站允许了。 回应
我简单说几句