什么是 Robots META 標(biāo)呢？其寫法有如何呢？下面有我們來告訴你吧；
Robots META 標(biāo)
Robots.txt 文件主要是限制整個站點或者目錄的搜索引擎訪問情況，而 Robots META 標(biāo)簽則主要是針對一個個具體的頁面。和其他的 META 標(biāo)簽（如使用的語言、頁面的描述、關(guān)鍵詞等）一樣， Robots META 標(biāo)簽也是放在頁面的 <head></head> 中，專門用來告訴搜索引擎 ROBOTS 如何抓取該頁的內(nèi)容。具體的形式類似：
<html>
<head>
<title> 時代營銷 -- 網(wǎng)絡(luò)營銷專業(yè)門戶 </title>
<meta name="Robots" content="index,follow">
<meta http-equiv="Content-Type" CONTENT="text/html; charset=gb2312">
<meta name="keywords" content=" 營銷 … ">
<meta name="description" content=" 時代營銷網(wǎng)是 …">
<link rel="stylesheet" href="/public/css.css" type="text/css">
</head>
<body>…</body>
</html>
Robots META 標(biāo)簽的寫法
Robots META 標(biāo)簽中沒有大小寫之分， name=”Robots” 表示所有的搜索引擎，可以針對某個具體搜索引擎寫為 name=”BaiduSpider” 。 content 部分有四個指令選項： index 、 noindex 、 follow 、 nofollow ，指令間以 “,” 分隔。
- INDEX 指令告訴搜索機(jī)器人抓取該頁面；
- FOLLOW 指令表示搜索機(jī)器人可以沿著該頁面上的鏈接繼續(xù)抓取下去；
- Robots Meta 標(biāo)簽的缺省值是 INDEX 和 FOLLOW ，只有 inktomi 除外，對于它，缺省值是 INDEX,NOFOLLOW 。
這樣，一共有四種組合：
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">
其中 :
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW"> 可以寫成
<META NAME="ROBOTS" CONTENT="ALL"> ；
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"> 可以寫成
<META NAME="ROBOTS" CONTENT="NONE">
需要注意的是：上述的 robots.txt 和 Robots META 標(biāo)簽限制搜索引擎機(jī)器人（ ROBOTS ）抓取站點內(nèi)容的辦法只是一種規(guī)則，需要搜索引擎機(jī)器人的配合才行，并不是每個 ROBOTS 都遵守的。
目前看來，絕大多數(shù)的搜索引擎機(jī)器人都遵守 robots.txt 的規(guī)則，而對于 Robots META 標(biāo)簽，目前支持的并不多，但是正在逐漸增加，如著名搜索引擎 GOOGLE 就完全支持，而且 GOOGLE 還增加了一個指令 “archive” ，可以限制 GOOGLE 是否保留網(wǎng)頁快照。例如：
<META NAME="googlebot" CONTENT="index,follow,noarchive">
表示抓取該站點中頁面并沿著頁面中鏈接抓取，但是不在 GOOLGE 上保留該頁面的網(wǎng)頁快照。
重慶網(wǎng)絡(luò)公司
渝公網(wǎng)安備 50010302000872號