蜘蛛陷阱是對搜索引擎來說的，盡管有些網站看上去高大上，很酷，但這可能會給搜索蜘蛛設置了大量的障礙，也就是

今天給大家說的蜘蛛陷阱。

我們看看百度百科對蜘蛛陷阱的定義：“蜘蛛陷阱”是阻止蜘蛛程序爬行網站的障礙物，通常是那些顯示網頁的技術方

法，很多瀏覽器在設計的時候考慮過這些因素，所以可能網頁界面看起來非常正常，但這些蜘蛛陷阱會對蜘蛛程序造成

障礙，如果消除這些蜘蛛陷阱，可以使蜘蛛程序收錄更多的網頁。

設想一下如果你去一個地方用百度地圖導航，結果地圖把你帶入一條荒無人煙的臭水溝里，你會怎么想。其實搜索引擎

蜘蛛和人一樣，如果讓蜘蛛掉進了你設置的陷阱里，那么：蜘蛛很生氣，后果很嚴重了！

一旦把蜘蛛惹急了，不是對你的網站進行降權就是K站，所以說蜘蛛大哥也不是好惹的。我們做SEO的還要心存敬畏之心

。

那么哪些是蜘蛛陷阱，如何預防？

1、各種跳轉

常見的網站跳轉方法例如：JS跳轉、Flash跳轉、302跳轉等，除301跳轉除外，因為它是搜索引擎推薦和認可的跳轉形式，它主要用在網站域名更改，利用301跳轉將老域名的權重全部繼承給新域名。除了301轉向很多的占用其他轉向欺騙用戶和搜索引擎，也是heimao的一種手段，所以建議大家不要使用，以免網站被K。除301之外的各種跳轉對搜索引擎來說都是不利的，不利于蜘蛛的爬取，給蜘蛛制造了所謂的陷阱。



2、復雜的框架結構

框架結構就目前來說算的上是網站建設界的老話題了，現如今建站愈來愈簡單智能的時代，框架結構逐漸落伍并且非常不利于蜘蛛爬取網站的內容，所以框架結構是被逼成了蜘蛛陷阱，老實講這不能怪它，可是也不得不怪它，這同時也驗證了一句話：落后就要挨打。

3、動態URL

我們知道，搜索引擎比較喜歡靜態網址，所以很多的動態網站都會使用偽靜態設置。動態URL通俗的解釋就是網站鏈接中帶有各種參數、等號、問號或者其它符號而長度還很長的鏈接，恰巧的是蜘蛛也喜歡這種鏈接，其實最根本的原因還是動態URL不利于蜘蛛的爬取。

4、JS腳本

對于這一點可能存在一定的爭議。JS在網站建設中又離不開

，因為它能為網站實現很多功能和特效，但是它不利于蜘蛛爬取內容，不過它也可以用在網站的其他方面對咱們做SEO的還是有所幫助的，比如為了避免網站權重的分散，我們就可以用JS腳本阻止蜘蛛對該頁面的抓取，而就這一點來說它又是網站SEO的好工具，所以對于JS腳本這一點還是自己掌握分寸吧！

5、頁面是frame框架結構

網站使用的frame框架結構，這種結構雖然代碼精簡，而且很方便更新維護網站，但是，這種結構蜘蛛基本上抓不到這里面的內容，特別是里面有那些重要內容的時候，那更是對優化很不利的。

6、必須要登陸才能訪問

有些企業站和個人站的設置一定要注冊登錄后才能看到相關的文章內容。這是絕對不可取的，這相當于把蜘蛛關在大門外了，畢竟搜索引擎蜘蛛不是人，沒有那么智能，他不會自動填寫用戶名、密碼、驗證碼，這種情況的頁面設置要特別是注意。嚴重的時候，蜘蛛不會光顧你的網站。

7、robots.txt書寫錯誤
robots文件是蜘蛛訪問網站的第一個文件，這個文件告訴蜘蛛那些是可以抓取的，那些是不能抓的，robots文件編寫會有一定的格式要求，如果編寫錯誤，也會禁止蜘蛛訪問和抓取。


8、Flash
Flash基本上被淘汰了，但有的網站頁面使用Flash視覺效果是很正常的，比如用Flash做的Logo、廣告、圖表等，這些對搜索引擎抓取和收錄是沒有問題的，很多網站的首頁是一個大的Flash文件，這種就叫蜘蛛陷阱，我們知道蜘蛛喜歡的是文字，雖然大的Flash效果看上去很漂亮，但搜索引擎無法讀取任何內容，所以不提倡這種Flash做首頁圖片。

9、url層級太深
有的網頁沒有入口，而且距離網站的首頁又很遠，這種頁面就相對較難被蜘蛛爬行到，嚴格意義上來說這不屬于陷阱，但我們拿來說一下吧，畢竟也影響蜘蛛的抓取。內頁和首頁的點擊距離越近，越容易得到更多的首頁權重傳遞。良好的網站結構可以讓網站更多的頁面被收錄。

10、強制使用cookies，
對于搜索引擎來說是相當于直接禁用了cookies的，而有些網站為了實現某些功能會采取強制cookies，比如說跟蹤用戶訪問路徑，記住用戶信息，甚至是盜取用戶隱私等，如果用戶在訪問這類站點時沒有啟用cookies，所顯示的頁面就會不正常，所以對于蜘蛛來講同樣的網頁無法正常訪問。


和各種各樣的作弊手法，比如說隱藏文字，隱藏鏈接等，采用偽裝網頁在判斷來訪者是蜘蛛還

是普通瀏覽器者而顯示不同的網頁，使用默認錯誤的404頁面等，同樣會給蜘蛛帶來爬行障礙。

綜上所述，是小編對蜘蛛陷阱的總結，可能不僅全面，之后隨著網絡技術的發展，還會出現其他的蜘蛛陷阱，對于站長來說蜘蛛就是我們的朋友，要善待它，他會給我們好的回報，如果我們虐待他，那么我們的網站優化之路就注定坎坷。
防范蜘蛛陷阱是網絡優化之必要條件。