什么是日志？

飛機的日志：黑匣子

電腦的日志：電腦管理-事件查看器-應用程序

關于網站的日志分析，這是SEO數據分析重點重要一環，好的SEOer能夠通過網站的日志分析出來網站目前是否是健康的
，是否被人攻擊。

網站日志分析有什么用？
1、重要的頻道(大量流量著陸頁面，高轉化率，用戶直接交易頁面等)有更多的爬蟲來抓取;
2、在爬蟲一定的抓取時間內，盡量少花精力放在一些無用的噪音頁面上(重復頁面，低質量頁面，空內容頁面，404頁  

 面，不排名頁面，低轉化頁面等);
3、爬蟲在抓取頁面的時候，盡量增加抓取的有效性，而不是重復抓取幾篇相同的頁面;
4、爬蟲不會被繁雜的URL參數所擾，不會進入無休止的爬蟲陷阱中;
5、每個頁面的下載時間足夠的快，這樣，可以讓爬蟲在時間一定的基礎上能夠更多的抓取頁面;
6、爬蟲都能夠完整的抓到我們想讓他抓的頁面，不要抓到我們的隱私頁面;
7、日志中不要有太多的404，不要有無理由的跳轉，不要有很多的500(服務器錯誤),這樣的情況出現;
8、那些更新頻繁但是價值很低的頁面不要吸引太多的爬蟲精力;
9、我們所有的產品，所有的品類，所有一切有用的東西都要被爬蟲完整爬到并且快速遍歷;
10、能用碰到真正的爬蟲，而不是一些模擬爬蟲的機器人;
11、爬蟲能夠完整的下載到我們的robots.txt;
12、爬蟲可以根據我們入口的調整，robots.txt的限制引導，JS的設計等按照我們的要求進行爬取;
13、爬蟲越多越好。。。對我們的興趣越大越好，當然，一切是在我們自身信任度和重要度增加的基礎上。

網站日志分析需要從哪些維度進行分析

1、網站日志中的搜索引擎爬蟲類型，以目前國內的搜索引擎時常看，從日志中可以看到的爬蟲大體有:
百度蜘蛛（包括PC移動及渲染蜘蛛等，具體spider名稱不做闡述，站長平臺均有詳細蜘蛛講解）；
搜狗蜘蛛、360蜘蛛、神馬蜘蛛、頭條蜘蛛（具體spider名稱不做闡述，站長平臺均有詳細蜘蛛講解）；
各蜘蛛的抓取占比應與目前搜索引擎所占市場份額相差不大；需注意的是神馬為移動端站長平臺；

2、抓取鏈接
分析各個爬蟲抓取鏈接的結構類型，例如目錄頁面還是詳情頁或者serch頁面JS鏈接等；

分析各個類型抓取占比是否正常；
分析爬蟲抓取鏈接的時間規律，比如百度，在哪個時間端的來訪抓取量最大，抓取時間線可了解；
分析訪問鏈接與抓取鏈接的關聯；

3、抓取量級
計算總抓取量級，各個爬蟲抓取量級、各個鏈接類型抓取量級，是否在正常范圍；

4、狀態碼
200、301、302、304、404、403、500、502等（根據抓取鏈接狀態碼分析網站是否正常等）

5、IP是否對應
是否存在偽爬蟲IP段、是否存在采集、掃描、攻擊等行為，將異常IP段及爬蟲進行封禁；

6、新增抓取量
分析近期站內新生成鏈接的抓取占比、抓取次數等

常用網站日志分析工具

1、天眼日志分析系統
軟件介紹：
天眼日志分析系統是中國推廣學院推出的一套針對SEO日志分析軟件，支持windows和linux等操作系統的日志分析。包

括對百度、谷歌、360和搜狗等搜索引擎蜘蛛爬行情況分析。另外軟件獨創網站安全分析，和IP黑名單功能。軟件兼容

性強可以在本機和服務器系統直接運行。是目前國內出色的SEO日志分析系統。

2、愛站日志分析

軟件介紹：
愛站日志分析工具是一款由愛站打造的日志分析軟件，能幫助站長進行日志分析工作，即時監控蜘蛛訪問狀況，發現問

題，及時處理。此工具可以自動識別IIS、Apache、Nginx日志格式,支持直接拖拽日志一個或多個文件（夾）至窗口進

行分析，每一項數據都分別以“數據顯示”和“圖形顯示”兩種不同方式向用戶展示數據結果。


愛站SEO工具包之網站日志分析工具使用方法
http://gongju.aizhan.com/course/32.html

網站日志分析工具視頻教程 - 愛站seo工具包
http://gongju.aizhan.com/jc_7.html