设为首页  |  收藏本站
Tags标签  |  Rss订阅
  • 您的位置 网站推广网 >> SEO文库 >> robots.txt是什么？如何操作

    robots.txt是什么？如何操作

  • 发布:叶威 | 分类:SEO文库
  • 首先要说：

    robots.txt很简单


    学习robots主要搞明白下面3个问题：
    1. robots是什么？
    2. robots有什么作用？
    3. 如何写robots.txt？

    robots是什么？

    kyw的回答： robots就是一个必须放在网站根目录、让搜索蜘蛛读取的txt文件，文件名必须是小写的"robots.txt"。

    robots有什么作用？

    kyw的回答：通过robots.txt可以控制SE收录内容，告诉蜘蛛哪些文件和目录可以收录，哪些不可以收录。

    如何写robots.txt

    用几个最常见的情况，直接举例说明：
    1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。

    2. 禁止所有SE收录网站的某些目录：

    User-agent: *
    Disallow: /目录名1/
    Disallow: /目录名2/
    Disallow: /目录名3/


    3. 禁止某个SE收录本站，例如禁止百度：

    User-agent: Baiduspider
    Disallow: /


    4. 禁止所有SE收录本站：

    User-agent: *
    Disallow: /

    如无特别说明，转载请注明来自网站推广网，谢谢
    Tags: robots.txt  
  • 上一篇：« SEO新手练兵手册
    下一篇：GOOGLE站点管理工具对网站优化的作用 »
  • 相关文章
2002-2008 Copyright ©金汤网络　版权所有:网站推广网 中国领先的网站优化服务商
武汉·北京·广州　 本站带宽由金汤网络提供，SEODS.CN提供技术支持