当前位置:首页 > 技术文档 > 谷歌教程 > Robots Meta 指令 - Robots Meta Directives -新视野网页设计

Robots Meta 指令 - Robots Meta Directives -新视野网页设计

2020-09-02来源:编辑:seo杰奇标签: meta 网页抓取 网页设计 新视野 

文章导读
Robots Meta 指令(有时也称为“Meta标籤”)是一些程式语法,它们提供网页爬虫如何抓取或索引网页内容的抓取指令,虽然robots.txt文件指令也可以帮网路爬虫提供了如何抓取网站的建议,但Robots Meta指令
SEO教学 - 网站内部SEO (On-Site)

Robots Meta 指令 - Robots Meta Directives

Meta 指令 - Robots Meta Directives

Robots Meta 指令(有时也称为“Meta标籤”)是一些程式语法,它们提供网页爬虫如何抓取或索引网页内容的抓取指令,虽然robots.txt文件指令也可以帮网路爬虫提供了如何抓取网站的建议,但Robots Meta指令提供了更为严格的,指导网页爬虫如何抓取和索引页面的内容。

有两种类型的Robots Meta 指令:属于HTML页面(如meta robots tag)的部分,以及Web服务器作为HTTP头部(如 x-robots-tag)发送的指令。meta robots tag和x-robots-tag都可以使用相同的参数(即Meta提供的抓取或索引指令,例如上述示例中的“noindex”和“nofollow”),不同的是这些参数如何传递给网页爬虫。

Meta指令提供抓取工具并解释,如何抓取和索引特定网页上的内容,如果这些指令是被机器人搜索到,那幺参数就成为了规範爬虫行为的强有力的建议,但是与robots.txt文件相同,抓取工具不必遵循meta指令,所以可以肯定的是,一些恶意的web机器人可以忽略你的指令。

以下是搜索引擎抓取工具在robots meta指令中使用的参数,这些参数不区分大小写,但请注意,有些搜索引擎可能只遵循这些参数的子集,或者可能会略微不同地处理某些指令。

参数设定:

  • Noindex: 告诉搜索引擎不要索引该网页。

  • Index: 告诉搜索引擎索引该网页,不必特意加入此标籤,因为这是预设的。

  • Follow:即使网页没有被索引,网页爬虫也应该追蹤网页上的所有链接,并将权限传递给连结的网页。

  • Nofollow: 告诉网页爬虫也不要追蹤网页上的所有链接,并将不可以将权限传递给连结的网页。

  • Noimageindex: 告诉网页爬虫不要索引该网页上的任何图像。

  • None:相当于同时使用noindex和nofollow标籤。

  • Noarchive:搜索引擎不应该在SERP(搜寻结果页面)上显示暂存的连结到这个网页。

  • Nocache:与noarchive相同,但只用于Internet Explorer和Firefox浏览器。

  • Nosnippet:告诉搜索引擎不要在SERP(搜寻结果页面)上显示该网页的一个片段(即Meta描述)。

  • Noodyp/noydir [OBSOLETE]:阻止搜索引擎使用DMOZ的网页描述作为此页面的SERP(搜寻结果页面)片段说明。但是,DMOZ在2017年初关站,这个标籤已经过时了。

  • Unavailable_after: 搜索引擎不应该在特定的日期之后索引该网页。

机器人Meta指令的类型

有两种主要类型的机器人Meta指令: meta robots tag和 x-robots-tag。任何可以在meta robots tag中使用的参数也可以在x-robots-tag中指定。

我们将在下面讨论meta robots tag和 x-robots-tag指令。

Meta robots tag

Meta robots tag(俗称“Meta标籤”或“robots 标籤”)是网页HTML代码的一部分,在网页的部分以程式码显示:

程式码範例

<meta name="robots" content="[PARAMETER]" >

标籤是标準的设定方式,也可以使用特定使用者代理的名称来替换“robots”做为特定的搜寻。 例如,要专门针对Googlebot指定某个指令,您需要使用以下代码:

<meta name="googlebot" content="[DIRECTIVE]" >

想要在网页上使用多个Meta指令?只要他们是相同的“机器人”(使用者代理),多个指令可以包含在一个meta指令中 - 只需用逗号分隔即可。这是一个例子:

<meta name="robots" content="noimageindex," "nofollow," "nosnippet" >

这个标籤会告诉机器人不要索引网页上的任何图像、任何连结,或者当网页出现在SERP(搜寻结果页面)上时显示网页的说明片段。

如果您针对不同的搜索用户代理使用不同的元机器人标籤指令,则需要为每个机器人使用不同的标籤。

X-robots-tag

meta robots tag允许您在网页层级控制索引行为,但是x-robots-tag可以作为HTTP表头的一部分并包含在内,以控制整个网页的索引,以及网页的特定元素。

儘管您可以使用x-robots-tag来执行与meta robots相同的索引指令,但是x-robots-tag指令提供了更多的灵活性和X-robots-tag所不具备的功能。 具体而言,x-robots-tag允许使用正规表达式,在非HTML文件上执行爬行网页指令,并在全局层级使用参数。

要使用x-robots-tag,您需要访问您网站的header .php,.htaccess或伺服器文件,从那里,添加您的特定服务器配置的x-robots-tag标记,包括任何参数,此网站提供了一些很好的示例,解说如何使用这三种方式中的其中一种,x-robots-tag的概述。

以下是可能会使用到x-robots-tag状况的範例:

  • 控制未用HTML撰写的内容的索引(如Flash或视频)。

  • 阻止网页特定元素(如图像或影片)的索引,而不是整个网页本身

  • 如果您无法访问网页的HTML(特别是部分),或者您的网站使用了无法更改的全局层级标题。

  • 添加规则来判断是否应将网页编入索引(例如,如果用户留言了20多次,则将网页编入索引)

SEO与robots meta指令的最佳做法

  • 所有meta指令(robots或其他)都是在抓取URL时发现的,这意味着,如果robots.txt文件不允许抓取网址,则网页上的任何meta指令(无论是在HTML还是在HTTP header)都将不会被看到,并且将被忽略。

  • 在大多数情况下,应该使用带有参数“noindex,follow”的robots meta tag来限制抓取或索引,而不是使用robots.txt文件禁止。

  • 需要注意的是,恶意爬虫很可能会完全忽略meta指令,因此这个协议并没有形成一个好的安全机制,如果您有不想公开搜索的隐私讯息,请选择更安全的方法(如密码保护),以防止浏览者查看机密网页。

  • 您不需要在同一页面上同时使用Meta robots tag和X-robots-tag - 这样做是多余的。


头条资讯
留言跟帖
热门文章
日榜 周榜
1 网站内部SEO - On-Site SEO -新视野网页设计

「网站内部(On-Site SEO)SEO」,也可以称为「网页内部SEO(on-page SEO)」,是指单在网站上执行的优化网站的元素(其它如,连结到其它网际网路与其它外部信息,统称为「非网站内部SEO」,在此章节先不讨论),从自然搜寻上,提高网站搜寻排序并赚取更多有意义的流量,「网站内部SEO」,藉由优化网页内容与HTML程式码的网页来达成。仅此于帮助搜寻引擎解释网页内容,适当的网页SEO指是...

2 Google蜂鸟演算法-新视野网页设计

Google蜂鸟初始发布日期:2013年8月20日与之前发布的「熊猫演算法」和「企鹅演算法」更新不同,后者最初是作为Google现有算法的附件发布的,目前「蜂鸟演算法」已彻底转变成为核心算法引用, 虽然核心算法中许多先前组件还是保持着,但「蜂鸟演算法」表明Google开始深入了解搜寻者「查询资料的意图为何?」,并将其与相关结果进行匹配。谷歌在2013年9月26日宣布了「蜂鸟演算法」,但实际上大约一...

3 网页因素 - On-Page Factors -新视野网页设计

以一个网页的内容来说,为什幺值得目前搜索的排名结果,是应该依照搜寻者的观点来看的,当然对于搜索引擎来说这也是非常重要的,因此,创建优质内容是非常重要的, 什幺是优质内容呢? 从SEO的角度来看,所有好的内容都需要有两个要点,好的内容必须提供需求,并且是可以被连结的。就如同全球经济市场相同,讯息会依照供应与需求的关係而受到影响。 最优质的网页内容是可以提供最大需求的工作, 它可能是一个XKCD漫画的...

4 外部连结 - External Links-新视野网页设计

外部连结是超连结,来源非自身网址之外的任何网址。简单的说,如果另一个网站连结到你,这被认为是到你的网站的外部连结。同样如果您连结到另一个网站,这也被视为一个外部连结。程式範例a href= http://www.external-domain.com/ Link Anchor Text /a 最佳方式在锚点文字中使用描述性关键字,这些关键字反映了目标网页所指定的相同主题或关键字,没有必要每次都使用...

5 Robots Meta 指令 - Robots Meta Directives -新视野网页设计

Robots Meta 指令(有时也称为“Meta标籤”)是一些程式语法,它们提供网页爬虫如何抓取或索引网页内容的抓取指令,虽然robots.txt文件指令也可以帮网路爬虫提供了如何抓取网站的建议,但Robots Meta指令提供了更为严格的,指导网页爬虫如何抓取和索引页面的内容。有两种类型的Robots Meta 指令:属于HTML页面(如meta robots tag)的部分,以及Web服务器...

6 网页描述 - Meta Description -新视野网页设计

网页描述 - Meta DescriptionMeta description(网页描述)是HTML属性,提供简明的网页摘要。它们通常出现在搜索引擎结果页面(SERP)中的蓝色可点击链接下。例如:Meta description可以是任意长度,但是搜寻引擎通常会截断超过160个字符之后的片段。最好保留Meta description有足够长度的说明,但是需要比160个字符的限制短。Meta des...

7 锚点文字 - Anchor Text-新视野网页设计

锚点文字是超连结中可见的可点击文本。在现代浏览器中,它通常是蓝色和下底线方式呈现,例如这个连结到新视野网页设计公司首页。程式範例a href= http://www.example.com Example Anchor Text /a 搜寻引擎优化友善的锚点文字是简洁的、与目标网页相关的(从这个网页连结过去的网页)。什幺是锚点文字?锚点文字是连结到网站上其它文件档或显示位置时的超连结,显示方式为可...

8 Google Medic Update做了那些改变? YMYL是什幺?-新视野网页设计

他所代表的意思很简单,就是“Your Money or Your Life.”,中文来就就是,生活与财产相关的网页,将来GOOGLE对于YMYL相关的内容将更为重视。哪些是YMYL的网页呢?虽然GOOGLE有提到Money字眼,但是他说的内容涵盖并不单单只是金钱,据GOOGLE所描述的,任何可以影响人们健康、快乐、安全或是财务的网站页面都是属于YMYL範围内。1.如果你的网站或是在网页中有提到股票...

9 网址连结 - URLs -新视野网页设计

URL(全球资源定址器)(更一般地称为“网址”)指定网际网路上资源(例如网页)的位置。 该URL还指定如何检索该资源(也称为“协议”,如HTTP,HTTPS,FTP等)。Code Samplehttp://www.exampledomain.com强制限制字数要在所有浏览器中正确呈现,URL必须少于2,083个字符。http://www.example.com/category-keyword/s...

10 网址、网域、网名 - Domains -新视野网页设计

什幺是网址(Domains)?网址是网站唯一的、人类可读的网际网路地址,它们由三部分组成:顶级网址(有时称为扩展网址或网址后缀)、一个网址(或IP地址)和一个可选的子网址。只有网址和顶级网址的组合被称为“根网址”,http://”是页面URL的一部分,但不是网址,被称为“协议”。让我们更仔细地看看这些元素:顶级网址(TLD)是出现在网址末尾的后缀的正式名称。顶级网址的一些例子包括:.com.net...

1 网站内部SEO - On-Site SEO -新视野网页设计

「网站内部(On-Site SEO)SEO」,也可以称为「网页内部SEO(on-page SEO)」,是指单在网站上执行的优化网站的元素(其它如,连结到其它网际网路与其它外部信息,统称为「非网站内部SEO」,在此章节先不讨论),从自然搜寻上,提高网站搜寻排序并赚取更多有意义的流量,「网站内部SEO」,藉由优化网页内容与HTML程式码的网页来达成。仅此于帮助搜寻引擎解释网页内容,适当的网页SEO指是...

2 Google蜂鸟演算法-新视野网页设计

Google蜂鸟初始发布日期:2013年8月20日与之前发布的「熊猫演算法」和「企鹅演算法」更新不同,后者最初是作为Google现有算法的附件发布的,目前「蜂鸟演算法」已彻底转变成为核心算法引用, 虽然核心算法中许多先前组件还是保持着,但「蜂鸟演算法」表明Google开始深入了解搜寻者「查询资料的意图为何?」,并将其与相关结果进行匹配。谷歌在2013年9月26日宣布了「蜂鸟演算法」,但实际上大约一...

3 网页因素 - On-Page Factors -新视野网页设计

以一个网页的内容来说,为什幺值得目前搜索的排名结果,是应该依照搜寻者的观点来看的,当然对于搜索引擎来说这也是非常重要的,因此,创建优质内容是非常重要的, 什幺是优质内容呢? 从SEO的角度来看,所有好的内容都需要有两个要点,好的内容必须提供需求,并且是可以被连结的。就如同全球经济市场相同,讯息会依照供应与需求的关係而受到影响。 最优质的网页内容是可以提供最大需求的工作, 它可能是一个XKCD漫画的...

4 外部连结 - External Links-新视野网页设计

外部连结是超连结,来源非自身网址之外的任何网址。简单的说,如果另一个网站连结到你,这被认为是到你的网站的外部连结。同样如果您连结到另一个网站,这也被视为一个外部连结。程式範例a href= http://www.external-domain.com/ Link Anchor Text /a 最佳方式在锚点文字中使用描述性关键字,这些关键字反映了目标网页所指定的相同主题或关键字,没有必要每次都使用...

5 Robots Meta 指令 - Robots Meta Directives -新视野网页设计

Robots Meta 指令(有时也称为“Meta标籤”)是一些程式语法,它们提供网页爬虫如何抓取或索引网页内容的抓取指令,虽然robots.txt文件指令也可以帮网路爬虫提供了如何抓取网站的建议,但Robots Meta指令提供了更为严格的,指导网页爬虫如何抓取和索引页面的内容。有两种类型的Robots Meta 指令:属于HTML页面(如meta robots tag)的部分,以及Web服务器...

6 网页描述 - Meta Description -新视野网页设计

网页描述 - Meta DescriptionMeta description(网页描述)是HTML属性,提供简明的网页摘要。它们通常出现在搜索引擎结果页面(SERP)中的蓝色可点击链接下。例如:Meta description可以是任意长度,但是搜寻引擎通常会截断超过160个字符之后的片段。最好保留Meta description有足够长度的说明,但是需要比160个字符的限制短。Meta des...

7 锚点文字 - Anchor Text-新视野网页设计

锚点文字是超连结中可见的可点击文本。在现代浏览器中,它通常是蓝色和下底线方式呈现,例如这个连结到新视野网页设计公司首页。程式範例a href= http://www.example.com Example Anchor Text /a 搜寻引擎优化友善的锚点文字是简洁的、与目标网页相关的(从这个网页连结过去的网页)。什幺是锚点文字?锚点文字是连结到网站上其它文件档或显示位置时的超连结,显示方式为可...

8 Google Medic Update做了那些改变? YMYL是什幺?-新视野网页设计

他所代表的意思很简单,就是“Your Money or Your Life.”,中文来就就是,生活与财产相关的网页,将来GOOGLE对于YMYL相关的内容将更为重视。哪些是YMYL的网页呢?虽然GOOGLE有提到Money字眼,但是他说的内容涵盖并不单单只是金钱,据GOOGLE所描述的,任何可以影响人们健康、快乐、安全或是财务的网站页面都是属于YMYL範围内。1.如果你的网站或是在网页中有提到股票...

9 网址连结 - URLs -新视野网页设计

URL(全球资源定址器)(更一般地称为“网址”)指定网际网路上资源(例如网页)的位置。 该URL还指定如何检索该资源(也称为“协议”,如HTTP,HTTPS,FTP等)。Code Samplehttp://www.exampledomain.com强制限制字数要在所有浏览器中正确呈现,URL必须少于2,083个字符。http://www.example.com/category-keyword/s...

10 网址、网域、网名 - Domains -新视野网页设计

什幺是网址(Domains)?网址是网站唯一的、人类可读的网际网路地址,它们由三部分组成:顶级网址(有时称为扩展网址或网址后缀)、一个网址(或IP地址)和一个可选的子网址。只有网址和顶级网址的组合被称为“根网址”,http://”是页面URL的一部分,但不是网址,被称为“协议”。让我们更仔细地看看这些元素:顶级网址(TLD)是出现在网址末尾的后缀的正式名称。顶级网址的一些例子包括:.com.net...

热门视频

关于本站 | 联系方式 | 发展历程 | 相关帮助 | 广告联系 | 网站地图

备案号:粤ICP备18132238号-1 技术支持:杰奇SEO