什么是 Robots META 標(biāo)呢？其寫法有如何呢？下面有我們來(lái)告訴你吧；
Robots META 標(biāo)
Robots.txt 文件主要是限制整個(gè)站點(diǎn)或者目錄的搜索引擎訪問(wèn)情況，而 Robots META 標(biāo)簽則主要是針對(duì)一個(gè)個(gè)具體的頁(yè)面。和其他的 META 標(biāo)簽（如使用的語(yǔ)言、頁(yè)面的描述、關(guān)鍵詞等）一樣， Robots META 標(biāo)簽也是放在頁(yè)面的 <head></head> 中，專門用來(lái)告訴搜索引擎 ROBOTS 如何抓取該頁(yè)的內(nèi)容。具體的形式類似：
<html>
<head>
<title> 時(shí)代營(yíng)銷 -- 網(wǎng)絡(luò)營(yíng)銷專業(yè)門戶 </title>
<meta name="Robots" content="index,follow">
<meta http-equiv="Content-Type" CONTENT="text/html; charset=gb2312">
<meta name="keywords" content=" 營(yíng)銷 … ">
<meta name="description" content=" 時(shí)代營(yíng)銷網(wǎng)是 …">
<link rel="stylesheet" href="/public/css.css" type="text/css">
</head>
<body>…</body>
</html>
Robots META 標(biāo)簽的寫法
Robots META 標(biāo)簽中沒(méi)有大小寫之分， name=”Robots” 表示所有的搜索引擎，可以針對(duì)某個(gè)具體搜索引擎寫為 name=”BaiduSpider” 。 content 部分有四個(gè)指令選項(xiàng)： index 、 noindex 、 follow 、 nofollow ，指令間以 “,” 分隔。
- INDEX 指令告訴搜索機(jī)器人抓取該頁(yè)面；
- FOLLOW 指令表示搜索機(jī)器人可以沿著該頁(yè)面上的鏈接繼續(xù)抓取下去；
- Robots Meta 標(biāo)簽的缺省值是 INDEX 和 FOLLOW ，只有 inktomi 除外，對(duì)于它，缺省值是 INDEX,NOFOLLOW 。
這樣，一共有四種組合：
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">
其中 :
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW"> 可以寫成
<META NAME="ROBOTS" CONTENT="ALL"> ；
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"> 可以寫成
<META NAME="ROBOTS" CONTENT="NONE">
需要注意的是：上述的 robots.txt 和 Robots META 標(biāo)簽限制搜索引擎機(jī)器人（ ROBOTS ）抓取站點(diǎn)內(nèi)容的辦法只是一種規(guī)則，需要搜索引擎機(jī)器人的配合才行，并不是每個(gè) ROBOTS 都遵守的。
目前看來(lái)，絕大多數(shù)的搜索引擎機(jī)器人都遵守 robots.txt 的規(guī)則，而對(duì)于 Robots META 標(biāo)簽，目前支持的并不多，但是正在逐漸增加，如著名搜索引擎 GOOGLE 就完全支持，而且 GOOGLE 還增加了一個(gè)指令 “archive” ，可以限制 GOOGLE 是否保留網(wǎng)頁(yè)快照。例如：
<META NAME="googlebot" CONTENT="index,follow,noarchive">
表示抓取該站點(diǎn)中頁(yè)面并沿著頁(yè)面中鏈接抓取，但是不在 GOOLGE 上保留該頁(yè)面的網(wǎng)頁(yè)快照。
重慶網(wǎng)絡(luò)公司
渝公網(wǎng)安備 50010302000872號(hào)