Google 頁面抓取的工作原理
Google SEO搜索引擎優(yōu)化初學(xué)者指南，處理頁面抓取板塊包含以下兩方面內(nèi)容。
一、更加有效地使用robots.txt文件
1、用robots.txt文件來限制抓取
robots.txt文件主要用來告知搜索引擎它們是否有權(quán)抓取您網(wǎng)站的特定部分。
該文件一定要嚴(yán)格的命名為robots.txt , 并被放置 在網(wǎng)站的根目錄下。
您可能不希望您的網(wǎng)站中的某些頁面被抓取 , 也許這些網(wǎng)頁在搜索 結(jié)果中出現(xiàn)對于用戶來說并沒多大用處。如果您想防止搜索引擎 抓取這些頁面 , 谷歌網(wǎng)站站長工具中有一個(gè)非常好用的robots.txt生 成器 , 它可以幫您生成這個(gè)文件。需要注意的是 , 如果您的網(wǎng)站使 用子域名而您不想被抓取的某些網(wǎng)頁恰好在一個(gè)特定子域名下 , 您 需要為那個(gè)子域名創(chuàng)建一個(gè)單獨(dú)的robots.txt文件。如果您想了解 更多的關(guān)于robots.txt的信息 , 建議您參閱網(wǎng)站管理員幫助中心的 關(guān)于使用robots.txt文件的指南。
還有很多別的方法可以保證您的網(wǎng)站的某些內(nèi)容不出現(xiàn)在搜索結(jié) 果中 , 比如說給您的robots元標(biāo)簽加上“NOINDEX”標(biāo)識(shí) , 使用 .htaccess文件對需要保護(hù)的目錄加密 , 還可以使用網(wǎng)站站長工具 將已經(jīng)被抓取的網(wǎng)頁從搜索結(jié)果中移除。
*佳使用方法：
1、對敏感的內(nèi)容使用更加安全的方法
您可能不會(huì)特別放心僅僅使用robots.txt對敏感的或者保密的內(nèi)容進(jìn)行屏蔽。其中一個(gè)原因是如果 網(wǎng)絡(luò)上還有一些鏈接鏈向這些URL時(shí)(比如引用頁日志) , 搜索引擎仍然有可能跟蹤抓取到您希望屏 蔽的URL , 當(dāng)然 , 它們只會(huì)展示您的URL地址信息 , 而不會(huì)展示標(biāo)題或者內(nèi)容摘要。一些無賴的搜 索引擎可能并不會(huì)自覺遵守機(jī)器人排除標(biāo)準(zhǔn)從而違反您的robots.txt的說明。還有其他原因 , 比如一 個(gè)好奇的用戶可能查看了您robots.txt文件中的目錄和子目錄 , 并對您不愿對外界展示的內(nèi)容的URL 進(jìn)行了猜測。使用.htacess文件對內(nèi)容進(jìn)行密碼保護(hù)或者對內(nèi)容加密是更加安全的措施。
請注意避免：
允許您網(wǎng)站中一些類似搜索結(jié)果的頁面被抓取到(用戶不喜歡剛離開一個(gè)搜索結(jié)果頁面就進(jìn)入了 另一個(gè)搜索結(jié)果頁面 , 這對他們來說沒有什么價(jià)值) ；允許大量自動(dòng)生成的、有相同或極為相似內(nèi)容的網(wǎng)頁被抓取到 , 用戶會(huì)想 : “難道這100000頁近乎相同的網(wǎng)頁真的應(yīng)該在搜索引擎的索引中出現(xiàn)嗎?”； 允許那些因提供代理服務(wù)而生成的URL被抓取 。
二、謹(jǐn)慎使用rel=“nofollow”
1、用nofollow打擊垃圾留言
如果您把某一鏈接的“rel”屬性設(shè)置成“nofollow” , 這意味著您是 在向Google傳達(dá)這樣的信息 : 您不希望Google繼續(xù)跟蹤抓取這些 特定鏈接所指向的頁面 , 并且也不希望將自己網(wǎng)頁的聲譽(yù)傳給這些 鏈接指向的網(wǎng)頁。實(shí)現(xiàn)這樣的效果其實(shí)很簡單 , 您只需將 rel=“nofollow”放置在鏈接的錨標(biāo)簽里即可。
我應(yīng)當(dāng)在什么情況下使用nofollow呢?如果您網(wǎng)站的博客開通了留言 功能 , 這些留言中含有的鏈接會(huì)向一些您根本就不了解也無意推薦 的網(wǎng)站傳遞您的聲譽(yù)。博客的留言本經(jīng)常被垃圾留言所侵?jǐn)_。
Nofollow這些用戶生成的鏈接能夠確保您不會(huì)將自己好不容易才積 累起的聲譽(yù)傳遞給其他的垃圾網(wǎng)站。
2、自動(dòng)給留言板“設(shè)置為nofollow”
許多博客軟件包會(huì)自動(dòng)nofollow用戶的留言 , 即使沒有提供這樣的 自動(dòng)功能 , 您也完全可以手動(dòng)調(diào)整成這樣。同樣的情形還適用于您 網(wǎng)站的其他由用戶生成的內(nèi)容 , 比如留言簿、論壇、引用通告等。 如果某些第三方(比如您的網(wǎng)站信任此留言者)添加的鏈接得到您的 肯定的話 , 那么您就沒有必要對這些鏈接使用nofollow。但是必須 明確的是 , 如果您鏈向了某些被Google認(rèn)為是垃圾的網(wǎng)站的話 , 那 么您自己網(wǎng)站的聲譽(yù)也會(huì)受到影響。網(wǎng)站管理員中心向您提供了更 多關(guān)于怎樣防止垃圾留言的小建議 , 比如使用CAPTCHAs(輸入驗(yàn)證碼環(huán)節(jié))和啟用留言監(jiān)控功能等。
3、關(guān)于為特定的內(nèi)容或者頁面上的所有鏈接使用nofollow
Nofollow的另一個(gè)用途就是 , 當(dāng)您在寫文章并引用某個(gè)網(wǎng)站 , 但是 并不想把您的聲譽(yù)傳遞給它。例如 , 您正在撰寫一篇關(guān)于垃圾留言 的博客文章并打算揭發(fā)一個(gè)*近經(jīng)常在您的博客上惡意留言的網(wǎng) 站。為了籍此提醒其他的網(wǎng)站提高警惕 , 您把該網(wǎng)站的鏈接包含在 了您的文章中 ; 但是 , 您顯然不想將自己網(wǎng)站的聲譽(yù)傳遞給這個(gè)作 惡的網(wǎng)站。那么這時(shí)候使用nofollow再合適不過了。
Author: globalsir (www.globalsir.com)
版權(quán)屬于: 外貿(mào)先生
版權(quán)所有，轉(zhuǎn)載時(shí)必須以鏈接形式注明作者和原始出處及本聲明。
