‹‹ 上一主题 | 下一主题 ››
 14 12
发新话题
打印

看这里介绍SEO经验的人挺多的，请教一个简单问题

continue

热心会员

Rank: 3Rank: 3

UID
11255 
帖子
361 
精华
1 
活力
471  
财富
0  
注册时间
2007-5-8 
1楼 大 中 小 发表于 2008-7-18 17:00  只看该作者

看这里介绍SEO经验的人挺多的，请教一个简单问题

好象robots.txt文件对SEO也有好处吧？如果我只想spider访问我网站根目录下以.htm为后缀的文件，robots.txt的内容是不是这样的：

User-agent: *
Allow: /.htm$
Disallow: /

因为我的网站很简单，只有根目录下几个htm文件。其它download和image目录存放下载文件和图片的，对spider应该没有用吧？可以禁用吧？
不知道在这里问这个问题妥当不，还望版主手下留情。

[ 本帖最后由 continue 于 2008-7-18 17:03 编辑 ]
珍爱生命，远离电脑！

TOP

googlebot

新手上路

Rank: 1

UID
2112 
帖子
182 
精华
0 
活力
208  
财富
0  
注册时间
2004-11-23 
2楼 大 中 小 发表于 2008-7-18 18:54  只看该作者
不要玩这种花头，容易被搞死

要保护，可以用用户权限。
支持 (0)  反对 (0)

TOP

daizi007

热心会员

Rank: 3Rank: 3

UID
13708 
帖子
22 
精华
1 
活力
97  
财富
0  
注册时间
2008-7-10 
3楼 大 中 小 发表于 2008-7-18 19:18  只看该作者
robots.txt只是一个指导爬虫爬行的工具

如果要达到这个目的，建议Disallow:其他不想被收录的目录或文件

上面的写法是错误的

具体规范google一下
支持 (0)  反对 (0)

TOP

continue

热心会员

Rank: 3Rank: 3

UID
11255 
帖子
361 
精华
1 
活力
471  
财富
0  
注册时间
2007-5-8 
4楼 大 中 小 发表于 2008-7-19 11:13  只看该作者
Allow: /.htm$

是这一行错了吗?我就是从google上查的啊
珍爱生命，远离电脑！
支持 (0)  反对 (0)

TOP

winnick

黄金会员

Rank: 9Rank: 9Rank: 9

UID
230 
帖子
2704 
精华
18 
活力
599  
财富
18  
来自
北京 
注册时间
2004-1-14 
5楼 大 中 小 发表于 2008-7-19 11:44  只看该作者
其他文件没必要禁止
while (I'm_alive)
{
  printf("I Love Programming");
}
支持 (0)  反对 (0)

TOP

continue

热心会员

Rank: 3Rank: 3

UID
11255 
帖子
361 
精华
1 
活力
471  
财富
0  
注册时间
2007-5-8 
6楼 大 中 小 发表于 2008-7-19 16:25  只看该作者
禁止一些没必要的文件是不是对我网站的pr值确定有好处？
珍爱生命，远离电脑！
支持 (0)  反对 (0)

TOP

扫地老僧

青铜会员

Rank: 5Rank: 5

UID
1809 
帖子
88 
精华
8 
活力
142  
财富
43  
注册时间
2004-9-23 
7楼 大 中 小 发表于 2008-7-19 17:04  只看该作者
引用:
原帖由 continue 于 2008-7-19 16:25 发表
禁止一些没必要的文件是不是对我网站的pr值确定有好处？
无

画蛇添足
支持 (0)  反对 (0)

TOP

continue

热心会员

Rank: 3Rank: 3

UID
11255 
帖子
361 
精华
1 
活力
471  
财富
0  
注册时间
2007-5-8 
8楼 大 中 小 发表于 2008-7-19 23:23  只看该作者
那么对我们而言,robots.txt文件有什么好处呢?
珍爱生命，远离电脑！
支持 (0)  反对 (0)

TOP

continue

热心会员

Rank: 3Rank: 3

UID
11255 
帖子
361 
精华
1 
活力
471  
财富
0  
注册时间
2007-5-8 
9楼 大 中 小 发表于 2008-7-20 10:07  只看该作者
引用:
原帖由 continue 于 2008-7-19 23:23 发表
那么对我们而言,robots.txt文件有什么好处呢?
珍爱生命，远离电脑！
支持 (0)  反对 (0)

TOP

winnick

黄金会员

Rank: 9Rank: 9Rank: 9

UID
230 
帖子
2704 
精华
18 
活力
599  
财富
18  
来自
北京 
注册时间
2004-1-14 
10楼 大 中 小 发表于 2008-7-20 10:21  只看该作者
有些文件不想让搜索引擎看的时候才有用.
while (I'm_alive)
{
  printf("I Love Programming");
}
支持 (0)  反对 (0)

TOP

‹‹ 上一主题 | 下一主题 ››
 14 12
发新话题