一:robots.txt文件寫法錯誤
網站的robots.txt文件寫法也是我們需要注意的一個點,如果我們確實不會寫,那麼我們就不要去輕易去動它,因爲往往就是robots.txt文件書寫錯誤而導致網站內容不被搜索引擎收錄,所以我們如果不會寫的話就不要去動它。書寫robots.txt文件之前一定要先熟悉robots.txt文件的書寫規則,寫完後需要再去對照一篇,以防出現錯誤,這些都是很必要的。
Robots.txt文件書寫錯誤主要有那幾個方面:
1.網站的robots.txt文件已經損壞或者在書寫的時候出現錯誤。
2.Robots.txt文件書寫不規範。
3.寫錯了或者拒絕搜索引擎蜘蛛的抓取。
4.Robots.txt文件書寫時沒有注意大小寫,這點也很重要,許多網站往往就是忽略了這個問題。
Robots.txt文件書寫錯誤有什麼害處?
如果你的robots.txt文件書寫錯誤了,搜索引擎機器人錯誤的理解了您的robots.txt文件,它們可能會完全無視你的網頁,從而導致網站不被搜索引擎給收錄。
如何檢查Robots.txt文件是否書寫錯誤?
對於這個問題,解決的辦法是仔細檢查您的robots.txt 文件,並確保您網頁上的的參數是正確的,你可以使用谷歌網站管理員工具來創建一個robots.txt文件,它會時時提醒你網站robots.txt 文件出現錯誤。
二:使用動態網址建站
至今爲止,搜索引擎(除了谷歌)還不能完全讀取動態網頁,因爲動態網頁的變數太多,一下是這個地址,等下打開又換另外個地址了,另外動態網址中還包含一些問號、等號及參數,所以搜索引擎抓取動態網址很困難,雖然說谷歌在前段時間宣稱能完全抓取動態網址,但在我們中國還是以百度、搜狗、360等搜索引擎爲主,我們不能因少失大。再說了,動態網址的網址是不固定的,一個內容頁存在幾個網址,必然導致內容權重分散,所以選擇動態網址應當謹慎,如果你的URL變數太多,造成搜索引擎搜索困難,那麼搜索引擎漫遊器可能會忽視你的網頁,從而導致網站內容不被搜索引擎收錄。
什麼是動態網址:
動態網址指的是包含問號、等號及參數的URL。通俗易懂的講法就是我們網頁的鏈接裏面包含了問號、等號及一些其他搜索引擎看不懂的參數。
通常動態URL對應的就是動態頁面。問號、等號等字符後面所跟的參數就是所需要查詢的數據庫頁面。
如果我們
建設企業網站使用的是動態網址,那麼解決辦法就是使用靜態頁面或者是僞靜態,靜態網址是搜索引擎能完全識別的,靜態頁面是固定唯一的,使用靜態頁面做站能提高搜索引擎收錄。
三:在你的網址中使用了會話ID
許多搜索引擎不去收錄那麼包含會話ID的網頁,因爲它們可導致內容的重複,如果可能的話,避免會話ID出現在你的網址,而使用cookies存儲會話ID。
四:網頁中存在太多JS代碼
前面我說過了,當今搜索引擎能完全識別的只有HTML語言,對於JavaScript代碼、CSS代碼以及其他的腳本代碼還不能完全識別,如果一個網頁中包含了JavaScript代碼、CSS代碼以及其他的腳本代碼,那麼搜索引擎抓取起來就會很困難,要是這些代碼在網頁中存在太多的話,可能就導致網站不被搜索引擎收錄了,因爲你給搜索引擎蜘蛛製造了太多的困難,搜索引擎蜘蛛自然而然的就放棄你了。
使用了JS代碼做站,要如何修改?
如非必要的話,儘量還是使用HTML語言做站,這是搜索引擎能完全識別的語言,對網站內容被收錄能提供幫助。像有的站長朋友爲了把網站做的炫麗點,非要使用到JS代碼,那麼你就採取JS代碼調用的方式吧。
五:使用Ajax、FLash做網站導航
對於大多數搜索引擎機器人而言,使用JavaScript或DHTML、Flash、Ajax等製作網站導航是解析不了的,其中使用Flash、Ajax製作的網站導航效果最差,搜索引擎機器人完全不能解析,站長朋友們不要因小失大,不能因爲光圖美觀而忽視搜索引擎機器人是否能解析的了,這些做法是不可取的,朋友們應儘量避免使用這些對搜索引擎不友好的方式,一旦網站定型,被搜索引擎判爲網站友好度低,再想恢復過來就很麻煩了。
搜索引擎機器人是很簡單的程序,它們遵循HTML鏈接,一旦鏈接出現錯誤對收錄也會帶來困難,這些問題最好是在建站的時候就考慮到,以免再次進行二次開發,並且還影響網站的正常收錄。
導致
企業網站不被搜索引擎收錄的幾個因素到這就寫完了,這五點大家都可以去參考下,看看自己的網站裏面是否有違反這五條規則了,“有則改之,無則加勉。”