第一，合理設置網站的roobots文件。網站roobots文件有以下幾個重要作用:1、有效屏蔽網站站內的死鏈接。2、可以分別設置不同權重的重要頁面。比如一些廣告板塊，一些僅僅為了展示給用戶但是并不希望蜘蛛抓取參與排名計算的頁面，都可以用roobots屏蔽抓取。3、對于網站后臺或者一些比較隱私的內容進行屏蔽。在這里筆者告訴大家兩點robots.txt文件的基本語法。第一條是：User-agent，即搜索引擎蜘蛛的名稱;第二條是：Disallow，即不允許抓取的部分。當然還有一些通配符以及具體的細節用法我們可以百度搜索下，或者參照一些seo類的書籍進行設置，總之網站roobots文件是必須設置的，它是明確告知搜索引擎對于網站抓取級別的總大綱是蜘蛛訪問網站的第一個訪問文件，所以一定要在優化過程中予以重視。
第二，為網站設置合理的網站地圖。網站地圖是引導蜘蛛快速抓取整個網站目錄結構非常有效的途徑，地圖顧名思義，我們一般去一個陌生的城市都會購買一份當地的地圖，通過地圖可以直觀的看到自己所在的地點和目標地點的直接距離，從而選擇合適的出行方式。而網站地圖也是一個道理，蜘蛛猶如一個陌生人，來到我們站點之后通過對于網站地圖的熟悉，就能輕而易舉的對于整體網站路徑有個明確的認知，接著有主意對于權重頁的判斷和甄別主要表現在對于更新頻繁的欄目進行有效的抓取，對于一些更新率低或者不更新的欄目，降低爬行次數甚至不爬行，就網站本身而言一個動態的網站地圖有助于提高網站的收錄速度。
第三，對于網站源文件的清理和減肥。網頁源文件代碼的有效處理是站內優化非常關鍵的一個環節，我們知道蜘蛛的抓取方式和我們經常出行乘坐的公交車是一個道理，遇到車流高峰勢必會出現很大程度的擁堵，而臃腫的代碼勢必會造成蜘蛛訪問的瓶頸，那么，具體我們要如何進行代碼減肥呢?比如去掉無用的空格，對于css文件、JS文件進行合并操作，最好獨立出來放到單獨的外部文件中，通過頭部引用來導入所需頁面中，尤其是布局頁面，建站之初就要想到代碼優化的細節點，比如可以使用css和div進行頁面布局，表格有時候為了布局需要不得不增加很多無用的冗余代碼，這些都是代碼減肥的細節要點。
第四，為網站設置404和301跳轉。404頁面主要是針對網站錯誤鏈接而生的，由于網站改版、轉移空間、備份恢復等勢必會造成網站很多錯誤頁無法訪問的問題，很多時候自己不注意還發現不了，但是這些錯誤頁對于網站用戶的傷害是非常大的，影響了用戶體驗，這個時候404頁面，就是告訴用戶，這個頁面不存在，然后通過一個回路鏈接導入網站其他部分，這樣不是非常友好的給用戶提示了嗎，通過回路可以讓客戶繼續逗留在網站之中，增加了用戶的停留時間，從而降低跳出率。另外，301也是常用的手段，主要是為了網站設置首選域的問題，一般站長會將不帶wwww的域名永久重定向到www主機頭上面去，另外網站域名在更換的時候或者重新申請新域名時也常常采用這種手法。就是將不在使用的域名永久重定向到現在的這個新域名上，這樣新域名就很好的繼承了原來域名的權重，非常有利于網站權重的繼續穩定的延續。
第二，為網站設置合理的網站地圖。網站地圖是引導蜘蛛快速抓取整個網站目錄結構非常有效的途徑，地圖顧名思義，我們一般去一個陌生的城市都會購買一份當地的地圖，通過地圖可以直觀的看到自己所在的地點和目標地點的直接距離，從而選擇合適的出行方式。而網站地圖也是一個道理，蜘蛛猶如一個陌生人，來到我們站點之后通過對于網站地圖的熟悉，就能輕而易舉的對于整體網站路徑有個明確的認知，接著有主意對于權重頁的判斷和甄別主要表現在對于更新頻繁的欄目進行有效的抓取，對于一些更新率低或者不更新的欄目，降低爬行次數甚至不爬行，就網站本身而言一個動態的網站地圖有助于提高網站的收錄速度。
第三，對于網站源文件的清理和減肥。網頁源文件代碼的有效處理是站內優化非常關鍵的一個環節，我們知道蜘蛛的抓取方式和我們經常出行乘坐的公交車是一個道理，遇到車流高峰勢必會出現很大程度的擁堵，而臃腫的代碼勢必會造成蜘蛛訪問的瓶頸，那么，具體我們要如何進行代碼減肥呢?比如去掉無用的空格，對于css文件、JS文件進行合并操作，最好獨立出來放到單獨的外部文件中，通過頭部引用來導入所需頁面中，尤其是布局頁面，建站之初就要想到代碼優化的細節點，比如可以使用css和div進行頁面布局，表格有時候為了布局需要不得不增加很多無用的冗余代碼，這些都是代碼減肥的細節要點。
第四，為網站設置404和301跳轉。404頁面主要是針對網站錯誤鏈接而生的，由于網站改版、轉移空間、備份恢復等勢必會造成網站很多錯誤頁無法訪問的問題，很多時候自己不注意還發現不了，但是這些錯誤頁對于網站用戶的傷害是非常大的，影響了用戶體驗，這個時候404頁面，就是告訴用戶，這個頁面不存在，然后通過一個回路鏈接導入網站其他部分，這樣不是非常友好的給用戶提示了嗎，通過回路可以讓客戶繼續逗留在網站之中，增加了用戶的停留時間，從而降低跳出率。另外，301也是常用的手段，主要是為了網站設置首選域的問題，一般站長會將不帶wwww的域名永久重定向到www主機頭上面去，另外網站域名在更換的時候或者重新申請新域名時也常常采用這種手法。就是將不在使用的域名永久重定向到現在的這個新域名上，這樣新域名就很好的繼承了原來域名的權重，非常有利于網站權重的繼續穩定的延續。