Screaming Frog SEO Spiderは、Webサイトの最も重要なSEO要素を分析するためのツールです。

Webサイトの作成は、多くの場合、異なる仕事を持つ複数の人の作業によって行われます。細部に至るまで最大限の注意を払っていても、Webのデザインや構造に何らかのバグがある場合があります。こうした失敗を発見するためには、自社サイトのWebページをすべて監視し、失敗や問題を検索してくれるツールがあると望ましい。

Screaming Frog SEO Spiderは、ウェブサイトの問題を分析し報告するための理想的なツールです。プログラムの使い方は簡単で、いくつかの基本的な設定を行い、分析したいサイトのURLを入力するだけです。サイトの規模や深さにもよりますが、1分～数時間後に有用な情報を含むレポートが表示されるので、それをフィルタリングして並べ替え、ウェブサイトの障害やエラーの可能性を調べることができます。

最初にしなければならないのは、「スパイダー」（これはプログラムの名前が、サイトを構成するウェブページを訪問して情報を収集する方法です）を設定することです。設定できるオプションには、次のようなものがあります。

• 画像、CSS、Javascript、SWFをチェックする：このオプションは、プログラムがWebページ上のファイル、CSS、JSなどをチェックし、壊れたリンクが見つかった場合は報告するようにするものです。
• 外部リンクのチェック：当サイトが他のサイトにリンクしている場合、このオプションを使用すると、これらのリンクが壊れていないことをチェックします。
• nofollow」内部リンクまたは外部リンクに従う：このオプションを使用すると、スパイダーは「nofollow」リンクに従うか無視するかを選択できます。このオプションは、サイトに含まれる「dofollow」ページの総数を知りたい場合に、非常に便利です。
• サブドメインをクロールする：サイトに複数のサブドメインがあり、それを「spider」したい場合、このオプションをチェックする必要があります。
• robots.txt ファイルを無視する: robots.txt ファイルを使用して、サイトの特定の領域をブロックしている場合。このファイルを無視して、スパイダーがウェブサイトのすべての領域を検査するようにしたい場合は、このオプションをオンにする必要があります。
• クロールする総ページ数を制限する：このオプションを使用すると、"spider"がクロールするページ数を制限することができます。
• 深さ方向の検索を制限する：このオプションで、スパイダーがホームページから数クリック離れた場所のみをクロールするように設定します。
• 認証を要求する：サイトの一部のウェブページがパスワードで保護されている場合、このオプションをオンにすると、保護されたページにアクセスして分析するために、ユーザー名とパスワードの入力を求めるようにプログラムします。
• noindexを尊重する：このオプションをマークすると、スパイダーは「noindex」メタタグが付いたページをクロールしなくなります。Googleなどの検索エンジンにインデックスされているページの総数を知りたい場合は、このオプションを使用することをお勧めします。
• Respect Canonical: このオプションをオンにすると、rel="canonical" meta tagを含むページをクロールしない。

Respect noindex と Respect Canonical のオプションを有効にすると、インターネット検索エンジンの大部分に従うルールに従ってスパイダーが動作するため、検索エンジンがインデックスするページの完全なレポートを得ることができます。おそらく、私たちのウェブサイトは何万ものページを生成します。それでも、noindexとrel="canonical "のメタタグを正しく設定すれば、インデックスされるページ数を大幅に減らすことができ、重要なページの内部PRを高めることに貢献することができるのです。

スパイダーがすべてのウェブページをクロールし終わると、ソフトウェアが検査したページのリストを生成する。このリストには、次の情報が含まれます。

• URL: 分析されたウェブページのアドレス
• ステータス・コード：HTTPのステータス・コードを報告します。これにより、どのページが見つからないか（404）、どのページにサーバーエラーがあるか（500）を確認することができます。
• タイトルと長さ：URLのタイトルとその文字数が表示されます。
• メタディスクリプションと長さ：メタディスクリプションの内容とその長さが表示されます。
• H1、H2、および長さ。両方のラベルのテキスト（存在する場合）とその長さが表示されます。
• サイズ：ページの大きさをバイト単位で表示します。サイズが大きすぎるとダウンロード速度が遅くなり、ダウンロード速度は検索エンジンのランキングに重要な要素となるため、ウェブページのサイズを知ることは重要です。
• 単語数：このフィールドは、分析されたページの単語数を表します。検索エンジンは、わずかな単語しか含まれていないページを質の悪いページと見なすため、この要素も重要です。
• レベル：分析したページの深さのレベルを指します。例えば、あるページが1レベルであれば、このページはサイトのインデックスからわずか1クリックの距離にあることを意味します。このオプションは、サイトにとって重要だと思われるページのレベルが低いかどうかをチェックするために使用します。なぜなら、レベルが高い場合、検索エンジンはこれらのページが低いレベルほど重要ではないと解釈してしまうからです。
• インバウンドリンク：このフィールドは、分析したページにリンクしている内部ページの数を反映しています。この数値は、どのページが最もリンクされているかを知ることができ、それらがサイトの最も重要なページであるかどうかをチェックすることができるため、重要である。もしそうでなければ、最も重要なページをリンクするように、ウェブサイトの内部構造を変更することができます。
• アウトバウンドリンク：他の内部ページへのリンクの数です。

このプログラムは、特定のレポートを含むさまざまなタブで構成されています。例えば、「レスポンスコード」タブでは、HTTPステータスコード（200、404など）を確認し、レスポンスコードでフィルタリングして整理することができます。各タブには、メインのリストには表示されない追加情報が含まれています。たとえば、「レスポンスコード」タブでは、クロールされたURLのレスポンスタイムを確認できます。

Screaming Frog SEO Spiderはサイトマップファイルをアップロードできるので、このファイルに含まれるURLが正しく機能しているかどうかを確認することができます。このオプションは非常に便利で、URLはサイトマップ内の検索エンジンがサイトを検査するよう誘導するため、サイトマップにエラーが含まれていてはならず、URLは有効であることが必要です。

生成されたデータを.csvファイルにエクスポートし、エクセルやその他の表計算ソフトにインポートして、これらのファイルの情報を操作することができます。

このソフトウェアはJavaで開発されており、すべての主要なデスクトップOSで利用可能です。Windows、Mac、Linuxに対応しています。

このソフトウェアは有料です。ただし、サイトごとに 500 の URL に制限され、スパイダーを好みに合わせて設定できないなど、機能面で一定の制限があるため、期間限定でなくとも使用することが可能です。