首先搜索引擎最常見的一種陷阱是Flash。在網頁的某一小部分使用Flash增強視覺效果是和很正常的,比如用Flash做成廣告,圖標等。這樣的Flash對搜索引擎的爬行與抓取是沒有什麼影響的。但是,萬萬不可在首頁使用一個大大的Flash文件,因爲這樣就形成一個蜘蛛陷阱。當搜索引擎抓取的HTML代碼只有一個連向Flash文件的連接,沒有其他的文字內容。如果Flash效果是必須滴,那也要在首頁加上一個通往HTML版本的鏈接。這個鏈接要在Flash文件之外的HTML代碼中,搜索引擎跟蹤這個鏈接可以抓取後面的HTML版本頁面。
再一個常見的蜘蛛陷阱就是Session ID(會話ID)。有些網站使用Session ID跟蹤用戶反問,每個用戶訪問網站時都會生成獨特唯一的Session ID,加在URL中。搜索引擎蜘蛛的每一次訪問也會被當成一個新的用戶,URL中會加上一個不同的Session ID,這樣搜索引擎蜘蛛每次來訪問時所得到的同一個頁面的URL將不一樣,後面帶着一個不一樣的Session ID也是一個蜘蛛陷阱。
各種跳轉也是蜘蛛陷阱之一,除了301轉向以外,搜索引擎對其他形式的跳轉都比較敏感,如:302跳轉,JavaScript跳轉,Flash跳轉,Meta Refresh跳轉。有些網站用戶訪問首頁時會被自動轉向到某個目錄下的頁面。但大部分這種首頁轉向看不出任何理由和目的,像這樣的轉向應能勉則勉,不到萬不得已,儘量不要使用301轉向以外的跳轉。
框架結構也可以算是一種蜘蛛陷阱,如果你還在使用框架結構的設計,在這裏建議大家立馬停止。不要浪費時間如研究怎麼讓搜索引擎去收錄框架結構網站。因爲搜索引擎無法判斷框架中的頁面內容應屬於主框架還是框架調用的文件。
動態URL不利於搜索引擎蜘蛛爬行,應該儘量避免。
JavaScript鏈接可以創造出很多好的視覺效果,但是,這也是一種蜘蛛陷阱。在這裏告訴大家,用CSS做導航系統一樣能創造出好的視覺效果,所以,大家可以用CSS來代替JavaScript,可能會事半功倍哦!
有些
企業網站內容必須用戶登陸之後才能看到,我們可以試着猜想一下,如果是搜索引擎想要抓取該頁面內容呢,難道也要先登陸嗎,要清楚,搜索引擎是不會填寫登陸資料和註冊會員的。所以,我們也要避免這種蜘蛛陷阱的產生
最後
BOB亚博竞赛科技給大家介紹一種非常值得大家注意的蜘蛛陷阱,那就是當一個網站爲了實現某種功能,如記住用戶登陸信息,跟蹤用戶訪問路徑等,強制用戶使用Cookies,如果用戶的瀏覽器沒有啓用Cookies,頁面的顯示就會不正常。這個問題直接就指向了搜索引擎,因爲搜索引擎蜘蛛就相當於一個禁用Cookies的瀏覽器,如果強制搜索引擎蜘蛛使用Cookies的話就會造成無法正常訪問。