1、首先进入服务器httpd目录，找到httpd配置文件httpd.conf打开，搜索关键词“LogFormat”，找到下面代码块：

LogFormat
“%h %l %u %t \”%r\” %>s %b \”%{Referer}i\” \”%{User-Agent}i\”" combined

LogFormat
“%h %l %u %t \”%r\” %>s %b” common

LogFormat
“%{Referer}i -> %U” referer

LogFormat
“%{User-agent}i” agent

将自己的代码修改为上面这样，wq!保存退出。
2、接着找到Apache配置虚拟主机的文件打开，一般路径也是在httpd目录下，文件名称为httpd.conf或者httpd-vhosts.conf，在文件中找到目标站点的VirtualHost代码块，修改代码如下：
CustomLog
/var/html/faq/logs/linux520-access.log combined
这是配置生成的网站访问日志存放路径的，这个路径可以自己随便修改。最重要的地方是combined这个词，一定不能忘记。如果你的VirtualHost代码块里面如果没有CustomLog，你可以自己加上去。
相反，如果你不想要日志里面有搜索引擎蜘蛛的访问全称记录，那么可以像下面这样写：
CustomLog
/var/html/faq/logs/linux520-access.log common
OK，完成上面两步修改步骤，重启httpd服务，我们就可以很方便的在日志里面查看爬行记录蜘蛛全称了。更加详细的访问日志信息，有助于我们对日志进行分析，进而针对性的调整网站。
比如我们可以通过命令：
cat access.log | grep Baiduspider | wc
查看百度蜘蛛爬行的次数。