查看完整版本: 想咨询一点关于百度ROBOTS 的问题

ggxxp 2008-9-2 19:30

想咨询一点关于百度ROBOTS 的问题

比如我服务器上有  / 111 / XX / XXX / XXXX.html
我只想让百度蜘蛛 爬XXXX.html里的 index.html,其他里面的静态页面不让怕，但是根目录下面还有一些文件要爬的  



  这个该怎么写？     谢谢

kahuxot 2008-9-2 19:58

*** 作者被禁止或删除 内容自动屏蔽 ***

kidsdown 2008-9-2 21:03

User-agent: *
Disallow: /_borders/
Disallow: /toupiao/
Disallow: /chat/
等等
页: [1]
查看完整版本: 想咨询一点关于百度ROBOTS 的问题