做网站SEO优化的朋友会特别关注蜘蛛爬行的次数、频率等，而做好网站优化的第一步就是首先让蜘蛛爬虫经常来你的网站进行光顾，如果蜘蛛爬行出现异常怎么办？下面将结合Linux系统中的几个Linux命令，如cat命令\grep命令\awk命令等可以让你清楚的知道蜘蛛的爬行情况。

seo_sem_marketing_optimization_business_web_internet_search-878753.jpg

下面我们针对nginx服务器进行分析，日志文件所在目录：/usr/local/nginx/logs/access.log，access.log这个文件记录的应该是最近一天的日志情况，首先请看看日志大小，如果很大(超过50MB)建议别用这些命令分析，因为这些命令很消耗CPU，或者更新下来放到分析机上执行，以免影响网站的速度。

Shell命令

1、百度蜘蛛爬行的次数

cat access.log | grep Baiduspider | wc

2、百度蜘蛛的详细记录(Ctrl C可以终止)

cat access.log | grep Baiduspider

也可以用下面的命令：

cat access.log | grep Baiduspider | tail -n 10
cat access.log | grep Baiduspider | head -n 10

只看最后10条或最前10条，这用就能知道这个日志文件的开始记录的时间和日期。

3、百度蜘蛛抓取首页的详细记录

cat access.log | grep Baiduspider | grep "GET / HTTP"

百度蜘蛛好像对首页非常热爱每个钟头都来光顾，而谷歌和雅虎蜘蛛更喜欢内页。

4、百度蜘蛛派性记录时间点分布

cat access.log | grep "Baiduspider" | awk '{print $4}'

5、百度蜘蛛爬行页面按次数降序列表

cat access.log | grep "Baiduspider" | awk '{print $7}' | sort | uniq -c | sort -r

文中的 Baiduspider 改成其它蜘蛛名称，例如改成 Googlebot 就可以查看谷歌的数据，国内主要以百度蜘蛛的爬行日志为主。

相关推荐

  1. ngx_waf：一款高大全的 Nginx 网站防火墙模块
  2. LNMP 编译安装 ngx_pagespeed 模块给网站提速！
  3. 文章页面关键词布局的五大要点仍然有效！
  4. 网站配置 Vary:User-Agent 标头方法介绍
  5. 移动端适配方案解析，轻松提升手机页面排名！
  6. 减少网页相似度提升排名的网站SEO优化技巧
文章作者：喵斯基部落
原文地址：https://www.moewah.com/archives/234.html
版权声明：本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。非商业转载及引用请注明出处（作者、原文链接），商业转载请联系作者获得授权。