Screaming Frog

相关介绍

Screaming frog是最好用的爬虫模拟软件/工具，它可以快速爬取你整站的URL，分析TDK、状态码、http、重定向、文件大小、内链数、SERP等等。他是On-page的非常好的工具。免费版可以抓取500链接，对于一般的网站也够用。

Screaming frog的功能

1、文件类别（html、javascript、css、image、pdf、flash、other）；

2、HTTP 状态码（Status Code）；

3、Page Title 和Page Title 的长度；

4、Meta Description 和Meta Description 的长度；

5、Meta Keywords 和Meta Keywords 的长度；

6、H1 和H1 的长度；

7、H2 和H2 的长度；

8、Canonical URL；

9、文件大小：网址和图片的大小。

Screaming
frog可以让蜘蛛在网页上不断的搜索需要的资源，可以设置搜索的一个主要网页地址，并设置自定义分析扩展页面的功能，这样软件就会自动在一个网站上分析几十个、上百个网页界面，通过Screaming
Frog SEO
Spider分析以后，就可以得到自己需要的数据，同时也可以通过抓取的功能测试网页的性能，分析一切无法响应的网页，分析打开具有病毒提示的网页，另外该软件还支持使用XPath提取数据，所以只要你的网站结构简练就不必担心在抓取时可能会出现错漏问题，无论是检测企业网站还是搜索网络的资源都是非常方便的

关键词：Screaming Frog

打不开?

建议用手机浏览器打开。微信/QQ可能屏蔽了该网站，首先保证网址是从浏览器/手机浏览器打开的，因为微信/QQ会屏蔽一些站。
建议使用不会屏蔽网址的浏览器。如果浏览器提示该网站违规，并非真的违规。而是浏览器厂商屏蔽了这个站。推荐原生态不会屏蔽网站的浏览器，苹果可以用自带的浏览器，Alook浏览器、X浏览器、VIA浏览器、微软Edge等。
通常打不开都是因为网络问题。好的网站会针对三大运营商(电信、移动、联通)进行优化，所以小网站会遇到一些网络打不开。一劳永逸的话，我们推荐使用加速器（将自己的网络切换成更稳定的运营商，比如电信）。部分网站需要科学上网，比如google等（这边不推荐，除非你真的用于学习资料的查询。）
以上三点均能解决99.99%网站打不开的问题了。如有疑问，可在线留言，着急的话也可以通过QQ在线联系我们。