＜META CONTENT="INDEX,FOLLOW"＞
    
    ＜META CONTENT="NOINDEX,FOLLOW"＞
    
    ＜META CONTENT="INDEX,NOFOLLOW"＞
    
    ＜META CONTENT="NOINDEX,NOFOLLOW"＞
    ```




 其中


    
＜META CONTENT="INDEX,FOLLOW"＞可以写成
    
    ＜META CONTENT="ALL"＞；
    
    ＜META CONTENT="NOINDEX,NOFOLLOW"＞可以写成
    
    ＜META CONTENT="NONE"＞
    ```




 

 需要注意的是：上述的robots.txt和Robots META标签限制搜索引擎机器人（ROBOTS）抓取站点内容的办法只是一种规则，需要搜索引擎机器人的配合才行，并不是每个ROBOTS都遵守的。

 目前看来，绝大多数的搜索引擎机器人都遵守robots.txt的规则，而对于Robots META标签，目前支持的并不多，但是正在逐渐增加，如著名搜索引擎GOOGLE就完全支持，而且GOOGLE还增加了一个指令“archive”，可以限制GOOGLE是否保留网页快照。例如：

 

 
    
    		＜META CONTENT="index,follow,noarchive"＞
    ```




 

 表示抓取该站点中页面并沿着页面中链接抓取，但是不在GOOLGE上保留该页面的网页快照。


禁止 搜索 引擎 google baidu 收录 页面