awstats分析nginx日志

说明:
awstats可以分析apache日志,同样也可以分析nginx日志。由于Awstats是Perl写的,从 awstats 的文档来看,它对 Apache HTTP Server 的支持是非常完美的。因此apache可以直接打开 Perl程序的网页查看统计。 但nginx对Perl支持并不好,所以我们需要利用awstats的工具将统计结果生成静态文件,方便nginx的查看。
本文将详细介绍自动定时切割nginx访问日志,并使用awstats来定时分析nginx日志的实现方法。


实现:
一. 设置nginx日志格式,日志按天切割部分
1.设置nginx日志格式,使更好的支持awstats。默认的nginx access格式就可以了。

log_format  access  '$remote_addr - $remote_user [$time_local] "$request" '
             '$status $body_bytes_sent "$http_referer" '
             '"$http_user_agent" $http_x_forwarded_for';
access_log  /data1/logs/access.log  access;

 
2.编写shell,定时切割每天的访问日志,压缩一周前的访问日志

# cat /root/logrotate.sh //填写以下内容
#!/bin/bash
# This script will run at 00:00,cut yesterday's logs and gzip log files a week ago.
# yesterday's logs for awstats

source_path="/var/log/nginx/"
logs_path="/home/awstats/logs/"
date_dir=${logs_path}$(date -d "yesterday" +"%Y")/$(date -d "yesterday" +"%m")/$(date -d "yesterday" +"%d")/
gzip_date_dir=${logs_path}$(date -d "1 week ago" +"%Y")/$(date -d "1 week ago" +"%m")/$(date -d "1 week ago" +"%d")/

mkdir -p $date_dir
mv ${source_path}*.access.log $date_dir
kill -USR1 `cat /usr/local/nginx/nginx.pid`
/usr/bin/gzip ${gzip_date_dir}*.access.log

 
3.修改crontal,使日志切割每天凌晨00:00运行

# crontab -e  //添加以下内容
00 00 * * * /bin/bash /root/logrotate.sh

 

二. awstats的安装与配置
1.下载与安装

# wget http://sourceforge.net/projects/awstats/files/AWStats/7.1.1/awstats-7.1.1.tar.gz/download
# tar -zxvf awstats-7.1.1.tar.gz
# mv awstats-7.1.1 /usr/local/awstats
//修改权限,wget下载下来的包权限转为为1000,需要修改权限,使.pl的文件可以运行了。
# chown -R root:root /usr/local/awstats
# chmod -R =rwX /usr/local/awstats
# chmod +x /usr/local/awstats/tools/*.pl
# chmod +x /usr/local/awstats/wwwroot/cgi-bin/*.pl

 
2.针对网站,创建配置文件

# cd /usr/local/awstats/tools  //切换到awstats/tools目录运行。否则会有一些关于标准目录的提示。
# ./awstats_configure.pl  //运行./awstats_configure.pl配置向导,创建一个新的统计

-----> Running OS detected: Linux, BSD or Unix
-----> Check for web server install
Enter full config file path of your Web server.
Example: /etc/httpd/httpd.conf
Example: /usr/local/apache2/conf/httpd.conf
Example: c:Program filesapache groupapacheconfhttpd.conf
>
#这里输入none并回车,因为我们没有使用apache

Your web server config file(s) could not be found.
You will need to setup your web server manually to declare AWStats
script as a CGI, if you want to build reports dynamically.
See AWStats setup documentation (file docs/index.html)
-----> Update model config file '/usr/local/awstats/wwwroot/cgi-bin/awstats.model.conf'
 File awstats.model.conf updated.
-----> Need to create a new config file ?
Do you want me to build a new AWStats config/profile
file (required if first install) [y/N] ?
#这里是说没有web server配置,是否新建一个。选y,创建一个新的配置文件

What is the name of your web site or profile analysis ?
Example: www.mysite.com
Example: demo
Your web site, virtual server or profile name:
>
#这里输入你要分析的域名,如www.gaingreat.com,回车

-----> Define config file path
In which directory do you plan to store your config file(s) ?
Default: /etc/awstats
Directory path to store config file(s) (Enter for default):
>
#定义配置文件存放路径,这里直接回车,使用默认路径/etc/awstats

-----> Create config file '/etc/awstats/awstats.www.gaingreat.com.conf'
 Config file /etc/awstats/awstats.www.gaingreat.com.conf created.

-----> Add update process inside a scheduler
Sorry, configure.pl does not support automatic add to cron yet.
You can do it manually by adding the following command to your cron:
/usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.gaingreat.com
Or if you have several config files and prefer having only one command:
/usr/local/awstats/tools/awstats_updateall.pl now
Press ENTER to continue...
#按回车继续

A SIMPLE config file has been created: /etc/awstats/awstats.www.gaingreat.com.conf
You should have a look inside to check and change manually main parameters.
You can then manually update your statistics for 'yuyuanchun.com' with command:
> perl awstats.pl -update -config=www.gaingreat.com
You can also build static report pages for 'www.gaingreat.com' with command:
> perl awstats.pl -output=pagetype -config=www.gaingreat.com

Press ENTER to finish...
#回车完成配置文件的创建

 
3.修改/etc/awstats/awstats.www.gaingreat.com.conf,将LogFile=”/var/log/httpd/mylog.log” 修改为:
LogFile=”/home/www/logs/%YYYY-24/%MM-24/%DD-24/gaingreat.com.access.log”
//YYYY-24这里的24是指24小时前,即昨天;gaingreat.com.access.log为你nginx的访问日志,注意修改。

4.测试新的统计是否配置正确,这一步主要是对访问日志进行统计分析

# mkdir -p /var/lib/awstats  //创建一个awstats用于记录数据的目录,不懂是不是一定要。
# /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.gaingreat.com

运行awstats安装目录wwwroot下的awatsts.pl测试。如果看到类似下面的提示就说明配置文件都正确了。注意这里-config=www.gaingreat.com要与上一步创建配置文件时输入的域名一致。

Create/Update database for config "/etc/awstats/awstats.www.gaingreat.com.conf" by AWStats version 7.1.1 (build 1.964)
From data in log file "/home/www/logs/2010/07/24/gaingreat.access.log"...
Phase 1 : First bypass old records, searching new record...
Direct access after last parsed record (after line 43260)
Jumped lines in file: 43260
 Found 43260 already parsed records.
Parsed lines in file: 0
 Found 0 dropped records,
 Found 0 comments,
 Found 0 blank records,
 Found 0 corrupted records,
 Found 0 old records,
 Found 0 new qualified records

 
5.利用Awstats工具生成静态页面,方便nginx查看。统计分析完成后,结果还在 Awstats 的数据库中。apache可以直接打开 Perl 程序的网页查看统计。 但本文开始时已经提到,Nginx 对 Perl 支持并不好,因此我们需要利用awstats的工具将统计的结果生成静态文件

a.新建目录/home/www/awstats,定期执行shell,让 Awstats 把静态页面生成到该目录中

# mkdir -p /home/www/awstats
# vim /root/awstats.sh  //然后输入以下内容
#!/bin/bash
mkdir -p /home/www/awstats/gaingreat.com
/usr/local/awstats/tools/awstats_buildstaticpages.pl -update -config=www.gaingreat.com -lang=cn -dir=/home/www/awstats/gaingreat.com -awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.pl
具体参数说明如下:
/usr/local/awstats/tools/awstats_buildstaticpages.pl	Awstats静态页面生成工具
-update -config=www.gaingreat.com	 更新配置项
-lang=cn	 语言为中文
-dir=/home/www/awstats/gaingreat.com	统计结果输出目录
-awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.pl	Awstats 日志更新程序路径。

# chmod +x /root/awstats.sh
# /root/awstats.sh
如果看到输出信息,那就说明成功了,例如:
Build keywords page: "/usr/local/awstats/wwwroot/cgi-bin/awstats.pl" -config=www.gaingreat.com -staticlinks -lang=cn -output=keywords
Build errors404 page: "/usr/local/awstats/wwwroot/cgi-bin/awstats.pl" -config=www.gaingreat.com -staticlinks -lang=cn -output=errors404
21 files built.
Main HTML page is 'awstats.www.gaingreat.com.html'.

 
b.修改crontab,让awstats输出静态文件自动运行

# crontab -e  //添加以下内容
00 1 * * * /root/awstats.sh

 
6.认证访问
暂空!

发表评论

邮箱地址不会被公开。 必填项已用*标注