站長新書 站長開講 首頁 最新文章 站長著作及審校 FreeBSD 筆記 Linux 筆記 Windows 筆記 虛擬化筆記 網管人雜誌 遊山玩水 關於本站
站長新書 VMware vSphere ICM 團購開跑了!!

Visitors-分析 ApacheLog 產生流量圖

前言

[Visitors - fast web log analyzer] 設計理念為可快速分析 Linux、Windows、Unix-Like 等架設 Web Server Log,[Visitors] 使用方式很簡單只要使用命令列並指定 Web Log 名稱及輸出流量分析報告格式 (Txt / Html) 即可,因此很適合線上即時查看流量。

Visitors 特色如下:

[Visitors - on line documentation for 0.7]

[Visitors 官網 ScreenShot]

實作環境

安裝及設定

步驟1.安裝 visitors 套件

切換至 Ports Tree 路徑安裝 visitors 套件

 #cd /usr/ports/www/visitors             //切換至安裝路徑 
 #make install clean                     //安裝並清除安裝過程中不必要的檔案 

步驟2.產生分析圖表

安裝完成後,就可開始產生分析報表了以下簡述常用參數,詳細參數內容請參考 [Visitors - on line documentation for 0.7]

 #/usr/local/bin/visitors -A -m 10 200801.log -o html > /home/web/200801.html
 --
 7055 lines processed in 1 seconds
 0 invalid lines, 0 blacklisted referers

此次測試的主機處理 Web Log 效能大約為每秒 6.3 萬行左右,以下為分析不同行數的 Web Log 其分析速度

 CPU: Intel(R) Core(TM)2 CPU 6300  @ 1.86GHz (1867.21-MHz 686-class CPU)
 real memory  = 2146299904 (2046 MB)
 #wc -l 200708.log | awk '{print$1}'
 56133                                       //5.6 萬行
 #/usr/local/bin/visitors -A -m 50 200708.log -o html > /home/web/200708.html
 --
 56133 lines processed in 1 seconds          //分析時間花費 1 秒
 0 invalid lines, 0 blacklisted referers
 #wc -l 2007.log | awk '{print$1}'
 318290                                      //31 萬行
 #/usr/local/bin/visitors -A -m 100 2007.log -o html > /home/web/2007.html
 --
 318290 lines processed in 5 seconds         //分析時間花費 5 秒
 0 invalid lines, 0 blacklisted referers

步驟3.設定排程

因為此次實作主機其 Web Log 為每天產生的,所以就寫個簡單的 Shell Script 來自動分析每天的 Web Log 吧。

 #vi /usr/local/sbin/visitors.sh             //建立 Shell 檔內容如下 
 #!/bin/sh
 TODAY=`date +%Y%m%d`
 LOG="/home/log/apache"
 DES="/home/web"
 VISITORS=/usr/local/bin/visitors
 SHOW="50"
 ${VISITORS} -A -m ${SHOW} ${LOG}/${TODAY}.log -o html > ${DES}/${TODAY}.html
 #chmod +x /usr/local/sbin/visitors.sh

完成後設定排程來定時執行剛才撰寫的 Shell Script

 #crontab -e
 55 23 * * * /usr/local/sbin/visitors.sh     //每天 23:55 執行

參考

[Visitors - fast web log analyzer]

[Visitors, on line documentation for 0.7]

[Visitors - ScreenShot]

[2007-03-06 - IT 四重奏]

[1秒で10萬行を處理するフリーの超高速なログ解析ソフト「Visitors」 - GIGAZINE - IT四重奏]

[GIS Notes by Rupert » Blog Archive » HTTP access_log analysis]

[えせSEの1日1Hack : 2005-08-17]

[Birds Of a Feather | ログ解析ツール Visitors のプチ改造]

Go To Oddmuse OrgGo To FreeBSD OrgCreative Commons 2.5 Taiwansitestates.com