Screaming Frog SEO Spider is een tool die ons helpt om ​​enkele van de meest belangrijke SEO-factoren van websites te analyseren.

Het maken van een website is vaak een taak die het werk van verschillende mensen met verschillende taken omvat. Zelfs met maximale aandacht voor alle details, kunnen er fouten in het ontwerp of de structuur van de website zitten. Om deze fouten te ontdekken, is het wenselijk om een tool te hebben die alle webpagina's van onze site bewaakt en zoekt naar mogelijke problemen.

Screaming Frog SEO Spider is een ideale tool om websiteproblemen te analyseren en te rapporteren. Het programma is gemakkelijk te gebruiken; we hoeven alleen maar enkele basisinstellingen in te stellen en de URL van de site in te voeren die we willen analyseren. Na een minuut of uren, afhankelijk van de grootte en diepte van de site, krijgen we een rapport met nuttige informatie die we kunnen filteren en herschikken om mogelijke fouten of problemen op de website te bekijken.

Het eerste wat we moeten doen, is de "spider" instellen (dit is hoe de naam van het programma de webpagina's die de site vormen bezoekt en informatie verzamelt). Enkele van de opties die we kunnen instellen zijn de volgende:

• Check Images, CSS, Javascript, SWF: deze optie maakt het mogelijk om bestanden, CSS, JS, enz. op de webpagina's te controleren en eventuele gevonden kapotte koppelingen te melden.
• Check externe links: als onze site links heeft naar andere sites, controleert deze optie of deze links niet kapot zijn.
• Volg "nofollow" interne of externe links: met deze optie volgt de spider "nofollow" links of negeert ze deze. Deze optie is erg handig als we het totale aantal "dofollow" pagina's van onze site willen weten.
• Crawl subdomeinen: als onze site meerdere subdomeinen heeft en we deze willen doorzoeken, moeten we deze optie aanvinken.
• Negeer robots.txt-bestand: als we bepaalde gebieden van onze site hebben geblokkeerd met behulp van het robots.txt-bestand. Als we willen dat onze spider dat bestand negeert en alle gebieden van de website inspecteert, moeten we deze optie aanvinken.
• Limiet het totale aantal pagina's om te crawlen: met deze optie beperken we het aantal pagina's dat de spider zal crawlen.
• Limiteer de dieptezoekopdracht: met deze optie kunnen we instellen dat de spider slechts enkele klikken van de startpagina vandaan mag crawlen.
• Vraag verificatie aan: als een van de webpagina's die deel uitmaken van de site beveiligd is met een wachtwoord, zal het programma ons vragen om een gebruikersnaam en wachtwoord in te voeren om toegang te krijgen tot en de beschermde pagina te analyseren.
• Respecteer noindex: als we deze optie markeren, zal de spider die pagina's met de "noindex" metatag niet crawlen. Het is raadzaam om deze optie te gebruiken als we het totale aantal door zoekmachines geïndexeerde pagina's willen weten, zoals Google.
• Respecteer Canonical: als we deze optie aanvinken, crawlt de spider die pagina's niet die de "rel =" canonical "metatag bevatten.

Door de optie Respect noindex en Respect Canonical te activeren, zullen we een volledig rapport hebben van de pagina's die zoekmachines zullen indexeren, aangezien onze spider zal handelen volgens de regels die de meeste internetzoekmachines volgen. Misschien genereert onze website tienduizenden pagina's, maar als we noindex en rel =" canonical "metatags correct instellen, zal het aantal geïndexeerde pagina's aanzienlijk worden verminderd, waardoor de interne PR van belangrijke pagina's wordt verhoogd.

Zodra de spider klaar is met het crawlproces, genereert de software een lijst met geïnspecteerde pagina's. Deze lijst bevat de volgende informatie:

• URL: het adres van de geanalyseerde webpagina
• Statuscode: geeft HTTP-statuscode weer. Dankzij dat kunnen we zien welke pagina's niet gevonden worden (404) of waar serverfouten optreden (500).
• Titel en lengte: toont de titel van de URL en het aantal tekens dat het bevat.
• Meta-omschrijving en lengte tonen de inhoud van de metadescription en de lengte ervan.
• H1, H2 en lengte: Toont de tekst van beide labels (indien aanwezig) en hun lengte.
• Grootte: de grootte, in bytes, van de pagina. Het is belangrijk om de grootte van de webpagina te kennen, aangezien een te grote grootte ervoor kan zorgen dat de download snelheid traag is en download snelheid een factor is die belangrijk is voor zoekmachinerankings.
• Het aantal woorden: dit veld vertegenwoordigt het aantal woorden op de geanalyseerde pagina. Dit is ook een belangrijke factor omdat zoekmachines pagina's die slechts een paar woorden bevatten, beschouwen als pagina's van slechte kwaliteit.
• Level: dit verwijst naar het diepteniveau van de geanalyseerde pagina. Bijvoorbeeld, als een pagina een niveau van 1 heeft, betekent dit dat deze pagina slechts één klik verwijderd is van de index van de site. Deze optie wordt gebruikt om te controleren of de pagina's die wij belangrijk vinden voor onze site een laag niveau hebben, omdat zoekmachines zullen interpreteren dat deze pagina's minder belangrijk zijn dan de lagere levels.
• Inbound links: dit veld weerspiegelt het aantal interne pagina's dat naar de geanalyseerde pagina linkt. Dit aantal is belangrijk omdat we kunnen weten welke pagina's het meest zijn gelinkt en kunnen controleren of die de belangrijkste pagina's van onze site zijn. Zo niet, dan kunnen we de interne structuur van onze website aanpassen om die belangrijkste pagina's te linken.
• Uitgaande links: dit is het aantal links naar andere interne pagina's.

De software bestaat uit verschillende tabbladen met specifieke rapporten. Bijvoorbeeld, in het tabblad "Response Code" kunnen we HTTP-statuscodes (200, 404, etc.) zien en filteren en organiseren op basis van de statuscode. Elk tabblad bevat aanvullende informatie die niet in de hoofdlijst wordt weergegeven. Bijvoorbeeld, in het tabblad "Response Code" kunnen we de responstijd van gecrawlde URL's zien.

Screaming Frog SEO Spider kan een sitemap-bestand uploaden, zodat we kunnen controleren of opgenomen URL's in dit bestand correct werken. Deze optie is erg handig, omdat de URL's in de sitemap zoekmachines naar onze site leiden, waardoor sitemap geen fouten mag bevatten en de URL's geldig zijn.

We kunnen gegenereerde gegevens naar .csv-bestanden exporteren en deze importeren in Excel of een andere spreadsheet om de informatie in deze bestanden te bewerken.

Deze software is ontwikkeld in Java en is beschikbaar voor alle belangrijke desktop-besturingssystemen: Windows, Mac en Linux.

Deze software is betaald, hoewel deze gedurende een beperkte tijd zonder beperkingen kan worden gebruikt, zoals een beperking van 500 URL's per site en de onmogelijkheid om de spider naar eigen smaak te configureren.