Screaming Frog SEO Spider è uno strumento che ci aiuta ad analizzare alcuni dei più importanti fattori SEO dei siti web.

La creazione di un sito web è spesso un'attività che coinvolge il lavoro di più persone con compiti diversi. Anche con la massima attenzione a tutti i dettagli, potrebbero esserci dei bug nel design o nella struttura del sito web. Per scoprire questi errori, è auspicabile disporre di uno strumento che monitorizzi tutte le pagine web del nostro sito e ricerchi eventuali errori o problemi.

Screaming Frog SEO Spider è uno strumento ideale per analizzare e segnalare i problemi del sito web. Il programma è facile da usare; dobbiamo solo impostare alcune impostazioni di base e inserire l'URL del sito che vogliamo analizzare. Dopo un minuto o un'ora, a seconda delle dimensioni e della profondità del sito, otterremo un report con informazioni utili che potremo filtrare e riorganizzare per individuare eventuali malfunzionamenti o errori del sito.

La prima cosa da fare è impostare lo "spider" (questo è il nome del programma che visiterà e raccoglierà informazioni dalle pagine web che compongono il sito). Alcune delle opzioni che possiamo impostare sono le seguenti:

• Controlla immagini, CSS, Javascript, SWF: questa opzione consente al programma di controllare i file, i CSS, i JS, ecc. presenti nelle pagine web, segnalando eventuali link non funzionanti.
• Controlla i link esterni: se il nostro sito ha dei link ad altri siti, questa opzione controlla che questi link non siano rotti.
• Segui i link interni o esterni "nofollow": con questa opzione, lo spider seguirà i link "nofollow" o li ignorerà. Questa opzione è molto utile se vogliamo conoscere il numero totale di pagine "dofollow" del nostro sito.
• Crawl dei sottodomini: se il nostro sito ha più sottodomini e vogliamo "spiderizzarlo", dobbiamo selezionare questa opzione.
• Ignora file robots.txt: se abbiamo bloccato alcune aree del nostro sito utilizzando il file robots.txt. Se vogliamo che il nostro spider ignori questo file e ispezioni tutte le aree del sito, dobbiamo selezionare questa opzione.
• Limita il numero totale di pagine da scansionare: con questa opzione limiteremo il numero di pagine scansionate dallo "spider".
• Limita la profondità di ricerca: con questa opzione possiamo impostare lo spider in modo che effettui il crawling solo a pochi click di distanza dalla home page.
• Richiedi autenticazione: se una delle pagine web che fanno parte del sito è protetta da password, selezionando questa opzione il programma ci chiederà di inserire un nome utente e una password per accedere e analizzare la pagina protetta.
• Rispetta noindex: se selezioniamo questa opzione, lo spider non effettuerà il crawling delle pagine con il meta tag "noindex". È consigliabile utilizzare questa opzione se vogliamo conoscere il numero totale di pagine indicizzate nei motori di ricerca come Google.
• Rispetta Canonical: se selezioniamo questa opzione, lo spider non effettuerà il crawling delle pagine contenenti il meta tag rel="canonical".

Attivando l'opzione Rispetta noindex e Rispetta Canonical, avremo un report completo delle pagine che i motori di ricerca indicizzeranno poiché il nostro spider si comporterà secondo le regole che seguono la maggior parte dei motori di ricerca di Internet. Forse il nostro sito web genera decine di migliaia di pagine. Tuttavia, se impostiamo correttamente i metatag noindex e rel="canonical", il numero di pagine indicizzate si ridurrà notevolmente, contribuendo così ad aumentare il PR interno delle pagine importanti.

Una volta che lo spider ha terminato il crawling di tutte le pagine web, il software genera un elenco delle pagine ispezionate. Questo elenco include le seguenti informazioni:

• URL: indirizzo della pagina web analizzata
• Codice di stato: riporta il codice di stato HTTP. Grazie a questo, possiamo vedere quali pagine non sono state trovate (404) o quali presentano errori del server (500).
• Titolo e lunghezza: mostra il titolo dell'URL e il numero di caratteri che contiene.
• Meta descrizione e lunghezza: mostra il contenuto della meta-descrizione e la sua lunghezza.
• H1, H2 e lunghezza: Mostra il testo di entrambe le etichette (nel caso in cui esistano) e la loro lunghezza.
• Dimensione: la dimensione, in byte, della pagina. È importante conoscere le dimensioni della pagina web perché una dimensione troppo grande causa una velocità di download troppo bassa e la velocità di download è un fattore importante per il posizionamento nei motori di ricerca.
• Il numero di parole: questo campo rappresenta il numero di parole della pagina analizzata. Anche questo fattore è importante perché i motori di ricerca considerano le pagine che contengono solo poche parole come pagine di scarsa qualità.
• Livello: si riferisce al livello di profondità della pagina analizzata. Ad esempio, se una pagina ha un livello 1, significa che questa pagina è a un solo clic di distanza dall'indice del sito. Questa opzione serve a verificare se le pagine che riteniamo importanti per il nostro sito hanno un livello basso perché se hanno un livello alto, i motori di ricerca interpreteranno che queste pagine non sono importanti come quelle di livello inferiore.
• Link in entrata: questo campo riflette il numero di pagine interne che rimandano alla pagina analizzata. Questo numero è importante perché possiamo sapere quali sono le pagine più linkate e verificare se sono le pagine più importanti del nostro sito. In caso contrario, potremo modificare la struttura interna del sito per collegare le pagine più importanti.
• Link in uscita: è il numero di link ad altre pagine interne.

Il programma è composto da diverse schede che contengono rapporti specifici. Ad esempio, nella scheda "Codice di risposta" possiamo vedere i codici di stato HTTP (200, 404, ecc.) e filtrare e organizzare per codice di risposta. Ogni scheda contiene informazioni aggiuntive che non sono visualizzate nell'elenco principale. Ad esempio, nella scheda "Codice di risposta", possiamo vedere il tempo di risposta degli URL crawlati.

Screaming Frog SEO Spider può caricare un file sitemap, in modo da verificare se gli URL inclusi in questo file funzionano correttamente. Questa opzione è molto utile perché gli URL guidano i motori di ricerca nella sitemap per ispezionare il nostro sito, quindi la sitemap non deve contenere errori e gli URL devono essere validi.

Possiamo esportare i dati generati in file .csv e importarli in Excel o in qualsiasi altro foglio di calcolo per manipolare le informazioni contenute in questi file.

Questo software è sviluppato in Java ed è disponibile per tutti i principali sistemi operativi desktop: Windows, Mac e Linux.

Questo software è a pagamento, anche se può essere utilizzato per un periodo di tempo limitato con alcune restrizioni nelle funzionalità, come la limitazione di 500 URL per sito e l'impossibilità di configurare lo spider a nostro piacimento.