網站日志又稱服務器日志，該日志是記錄網站服務器的請求信息，通過這個日志是可以看到哪些蜘蛛程序抓取過網站，什么時間抓取的網站，以及抓取了網站的什么頁面，是否抓取成功。

我們的網站日志放在服務器的空間里，一般都是以.log文件結尾，不同的服務器記錄的時間不一樣，有一周、三天、一個月等等的時限。

上圖是保存日志的文件夾

網站日志文件(.log結尾)

上圖是用記事本打開后，該服務器只記錄三天的日志。

上文已經對網站日志的一些常識和存儲的位置做了了解，下面我們用分析軟件(光年日志分析工具點擊下載)來分析網站日志。

概要分析可以看出哪些蜘蛛來抓取過網站抓取過幾次

目錄抓取

頁面抓取

分析到這里的時候，要注意觀察哪個目錄抓取的最多，多在經常被抓取的目錄里發布內容，有利于收錄。

如果每天抓取的內容比較少，那么就需要加大網站內容的更新來吸引蜘蛛。

關鍵字分析指的是用戶通過搜索什么詞進入到你網站的，這個工具分析的不夠精準，如果想要了解，建議去百度統計中的來源分析-搜索詞中查看，這里不多做介紹。

這里的狀態碼我們決定不了，但我們要了解相應的狀態碼做好相應的對策。

1、404，如果出現404那說明是進入了錯誤頁面，需要制作一個404頁面，檢查一下站內的死鏈接有的話需刪除或修改為正確的鏈接。

2、304，出現304表明的是網站長期不更新，需要更新內容。

3、200，表明網站沒問題，成功返回頁面。

4、301，302，前者是網址做了永久重定向，后者是做了臨時重定向。

5、403，服務器的文件拒絕請求訪問。

6、502，如果出現502那么表明服務器內部錯誤，經常出現建議更換服務器(服務器不穩定)。