Screaming Frog SEO Spider es una herramienta que nos asiste en la tarea de analizar ciertos factores SEO de un sitio web.

La creación de un sitio web suele ser una tarea que implica el trabajo de varias personas con labores diferentes. Aún cuidando al máximo todos detalles, es posible que exista algún tipo de fallo en el diseño o estructura de la web. Para descubrir estos fallos es conveniente contar con una herramienta que monitorice todas las páginas web de nuestro sitio en busca de fallos o problemas.

Screaming Frog SEO Spider se presenta como una herramienta ideal para analizar y reportar problemas en sitios web. El funcionamiento del programa es sencillo, únicamente debemos marcar unas opciones básica e indicarle la URL del sitio que queremos analizar. Pasados unos minuto u horas, dependiendo del tamaño y profundidad del sitio, obtendremos un reporte con información útil que podremos filtrar y reorganizar para analizar posibles fallos o errores en la web.

Lo primero que debemos hacer es configurar la “araña” (así es como se denomina al programa que irá visitando y recopilando información de las páginas web que componen el sitio). Algunas de las opciones que podemos marcar son las siguientes:

• Chequear Imágenes, CSS, Javascript, SWF: esta opción permite que el programa compruebe los ficheros CSS, JS, etc, en las páginas web que va encontrando, reportando un error en caso de que el enlace hacia esos ficheros esté roto.
• Chequear Links Externos: si nuestra web tiene enlaces hacia otras webs, está opción comprobará que esos enlaces no estén rotos.
• Seguir enlaces nofollow internos o externos: con está opción podemos decirle a la araña si queremos que obedezca los enlaces “nofollow” o queremos que los ignore. Esta opción es muy útil si queremos saber el número total de paginas “dofollow” que contiene nuestro sitio.
• Inspeccionar todos los subdominios: si nuestro sitio dispone de varios subdominios y queremos que la “araña” los tenga en cuenta, debemos marcar esta opción.
• Ignorar el fichero robots.txt: es probable que hayamos bloqueado ciertas zonas de nuestro sitio mediante el fichero robots.txt. Si queremos que nuestra araña ignore ese fichero e inspeccione todas las zonas de la web debemos marcar esta opción.
• Limitar número total de páginas a inspeccionar: con esta opción limitaremos el número de páginas que inspeccionará la “araña”.
• Limitar la profundidad de búsqueda: con esta opción le diremos a la “araña” hasta cuantos clicks de distancia puede inspeccionar más allá de la página principal.
• Solicitar autenticación: si alguna de las páginas web que componen el sitio a analizar está protegida con contraseña, marcando esta opción, el programa nos preguntará usuario y contraseña para poder acceder y analizar la página protegida.
• Respetar noindex: si marcamos está opción, la araña no inspeccionará aquellas páginas que contengan el metatag “noindex”. Es conveniente usar esta opción si queremos saber el número total de páginas que indexarán los motores de búsqueda tipo Google.
• Respetar Canonical: si activamos esta opción, la araña no indexará aquellas páginas que contengan el metatag rel=”canonical”.
• Activando la opción de Respetar noindex y Respetar Canonical, tendremos un informe completo de las páginas que serán indexadas por los buscadores, ya que nuestra araña se comportará siguiendo las reglas que siguen la mayoría de los buscadores de Internet. Tal vez nuestra web genere decenas de miles de páginas, pero si configuramos correctamente los metatags de noindex y rel="canonical", el número de páginas indexadas se verá reducido considerablemente, contribuyendo a que el PR interno de las páginas importantes sea mayor.

Una vez la araña termine de inspeccionar todas las páginas que componen el sitio web, se presentará una lista con información de todas y cada una de las páginas inspeccionadas. Esta lista incluye la siguiente información:

• Dirección URL: la dirección web de la página analizada
• Código de estado: informa sobre el código de estado HTTP. Gracias a esto podemos visualizar que páginas no se encuentran (404), o cuales tienen problemas con el servidor (500).
• Título y longitud: muestra el título de la URL analizada y el número de caracteres que contiene.
• Meta Description y longitud: al igual que con el título, muestra el texto que componen la meta-description y su longitud.
• H1, H2 y longitud: Muestra el texto de ambas etiquetas (en caso de que existan) y su longitud.
• Tamaño: aquí se muestra el tamaño en bytes que ocupa la página. Es importante saber el tamaño que van a ocupar las páginas que componen el sitio, ya que un tamaño muy alto hará que la velocidad de descarga sea lenta, y la velocidad de descarga es un factor que tienen en cuneta los buscadores a la hora de organizar los resultados de las búsquedas.
• Número de palabras: este campo representa el número de palabras que existen en la página analizada. Este factor también es importante, ya que las páginas que contienen pocas palabras son consideradas por los buscadores como páginas de baja calidad.
• Nivel: esto se refiere al nivel de profundidad en que se encuentra la página analizada. Por ejemplo si una página tiene un 1 de nivel, indica que esta página está a un click de distancia del index del sitio. Esta opción sirve para comprobar si las páginas que consideramos importantes en nuestro sitio tienen un nivel bajo, ya que si tienen un nivel alto, los buscadores interpretarán que esas páginas no son tan importantes como las de niveles inferiores.
• Enlaces entrantes: esta campo refleja el número de páginas internas que tienen un enlace hacia la página analizada. Este número es importante, ya que podremos saber cuales son las páginas que más enlaces están recibiendo y comprobar si esas son las páginas más importantes del sitio. Si no es así, podremos modificar la estructura interna de nuestra web para que las páginas que consideremos más importantes reciban un mayor número menciones.
• Enlaces salientes: este es el número de enlaces hacia otras páginas internas.

El programa consta de distintas pestañas en las que se organiza la información para poder tener acceso a reportes específicos. Por ejemplo en la pestaña de Código de respuesta podremos ver los códigos HTTP (200, 404, etc) y filtrar y organizar por código de respuesta. Cada pestaña incluye información adicional que no se muestra en el listado principal. Por ejemplo en la pestaña de Códigos de respuesta se muestra el tiempo de respuesta de las URLs inspeccionadas.

Screaming Frog SEO Spider tiene la posibilidad de cargar un fichero sitemap, por lo que podremos comprobar si las URLs incluidas en dicho fichero están funcionando correctamente. Esta opción es muy conveniente, ya que los buscadores se guían por las urls contenidas en el sitemap para inspeccionar nuestro sitio, por lo que es importante que el sitemap no contenga errores y las URLs sean válidas.

Podemos exportar los datos generados a ficheros .csv, e importarlos a excel o cualquier otra hoja de calculo para manipular la información de dichos ficheros.

Este software está desarrollado en Java y está disponible para los principales sistemas operativos de escritorio: Windows, Mac y Linux.

El programa es de pago, aunque se puede usar sin límite de tiempo con ciertos recortes en las funcionalidades, como: limitación de 500 URLs por sitio e imposibilidad de configurar la araña a nuestro gusto.