Robot文件對(duì)于各位站長(zhǎng)相比都并不陌生，我們一般使用這個(gè)文件來(lái)阻擾搜索引擎的蜘蛛爬行一些我們并不想讓它抓取的頁(yè)面。但是其實(shí)使用這個(gè)文件同時(shí)也可以讓搜索引擎的蜘蛛對(duì)于我們站點(diǎn)的爬行更加的勤奮。具體如何操作，在下文中筆者將做一個(gè)簡(jiǎn)要的介紹。

一：了解robot文件

站長(zhǎng)們都應(yīng)該很清楚robots文件的作用是告訴搜索引擎蜘蛛程序在站點(diǎn)上什么文件是可以被查看抓取的，什么內(nèi)容是被禁止的，當(dāng)搜索引擎蜘蛛通過(guò)這一頁(yè)面了解之后，就可以將它的所有的注意力放被我們所允許爬行的頁(yè)面上，從而將有限的權(quán)重集中起來(lái)。

同時(shí)，我們還不能忽略關(guān)鍵的一點(diǎn)，那就是我們的robot文件將會(huì)是所有搜索引擎在我們站點(diǎn)上看到的第一個(gè)文件。對(duì)此筆者認(rèn)為我們可以通過(guò)這點(diǎn)上利用robot文件讓搜索引擎的蜘蛛爬行我們的站點(diǎn)時(shí)更加的勤奮。

二：把站點(diǎn)地圖地址寫入

筆者在上文說(shuō)過(guò)，搜索引擎蜘蛛進(jìn)入我們站點(diǎn)首先會(huì)訪問(wèn)的使我們的robot文件。根據(jù)這點(diǎn)，假如我們把我們的網(wǎng)站地圖文件（sitemap.xml）地址寫入我們的robot中的允許爬行頁(yè)面中，自然而然我們的網(wǎng)站地圖文件就能更好更快的被搜索引擎的蜘蛛所獲取到。經(jīng)過(guò)筆者的嘗試，這個(gè)方法對(duì)于小型的站點(diǎn)的作用效果很明顯，對(duì)于大型的站點(diǎn)則有不錯(cuò)的積極作用。

具體的方法我們可以看一下下面的圖片

對(duì)此筆者認(rèn)為不論你的站點(diǎn)是新站還是老站，是大型的還是中小型的站點(diǎn)，對(duì)你來(lái)說(shuō)把網(wǎng)站地圖文件寫入robot文件都是有很好的效果的。

三、網(wǎng)站地圖文件的獲取

筆者說(shuō)了這么多，可能還有的新手不了解要如何獲得網(wǎng)站地圖文件，因此筆者在分享一個(gè)獲得網(wǎng)站地圖文件的小工具。

這是一個(gè)很小的工具，同時(shí)他也是被谷歌所推薦的網(wǎng)站地圖生成工具。這個(gè)工具的地址是：http://www.xml-sitemaps.com/，如下圖所示，當(dāng)我們進(jìn)入這個(gè)工具后，我們可以根據(jù)上面提供的選項(xiàng)來(lái)選擇適合自己站點(diǎn)的網(wǎng)站地圖。生成網(wǎng)站地圖后，我們只要把這個(gè)文件放在網(wǎng)站的根目錄上就可以了。

綜上所述，筆者認(rèn)為把網(wǎng)站地圖文件寫入robot文件來(lái)提高搜索引擎對(duì)我們站點(diǎn)的爬行的方式是可行的，而且操作的難度系數(shù)也不大。希望本文對(duì)于大家在提高頁(yè)面的抓取度上有幫助。

中科服網(wǎng)絡(luò) www.jbbxhf.cn