¿Cómo optimizar un archivo Robots.txt para el SEO?

Si te estás preguntando cómo optimizar el archivo robots.txt para WordPress de forma que puedas mejorar el SEO de tu página web, estás en el lugar correcto.

En esta guía te explicaré que es un fichero robots.txt, por qué es importante para mejorar el seo de tu web y como debes optimizarlo para los buscadores.

¿Qué es un fichero robots.txt y por que es importante?

El fichero robots.txt es un archivo alojado en tu sitio web que permite denegar el acceso a los buscadores a determinados archivos y carpetas dentro de tu sitio web. Puedes usarlo para impedir que Google (o cualquier otro buscador) acceda a páginas internas o principales que no son importantes o que por algún motivo no deberían aparecer en el buscador.

Este sería un ejemplo real de fichero robots.txt:

Viendo el ejemplo anterior, ¿Cómo podemos denegar el acceso a los buscadores a determinados sitios para mejorar el seo?

Bien, pues su funcionamiento es sencillo, User-agent: *, indica que nos referimos a todos los buscadores en general, de lo contrario, pondríamos un solo buscador, por ejemplo, User-agent: Google, de esta forma solo nos estaríamos refiriendo a Google.

Ahora bien, si queremos denegar un acceso concreto indicaríamos Disallow: y la ruta, pero si queremos que algo sí sea rastreable añadiríamos: Allow: Ruta, por último añadimos nuestro sitemap al final de fichero para dar un punto más de referencia a los buscadores cuando lean el fichero (algo que hacen a diario varias veces).

Si por ejemplo tenemos muchas páginas de categorías y tags dentro de nuestra página web y estas son de baja calidad o lo contenidos son demasiado cortos, no necesitamos que el buscador divida nuestro seo entre esas páginas por lo que podemos añadirlas dentro de este fichero para que google no reparta el SEO entre esas páginas internas que realmente no son de calidad.

Debes tener cuidado con el fichero robots.txt ya que una ruta mal puesta puede dejar sin indexar partes importantes de tu web por lo que te aconsejo que prestes atención a cada lineal con el fin de no cometer errores.

Cómo optimizar el fichero robots.txt para SEO

Para modificar el fichero tenemos 3 opciones:

1º Acceder mediante FTP, descargar el fichero robots.txt, editarlo y volver a subirlo.

2º Acceder mediante el administrador de archivos de nuestro hosting, editar el fichero y guardarlo.

3º Con un plugin, como por ejemplo: Robots.txt Editor

Puedes usar cualquiera de estas tres opciones para modificar, ahora, una vez que ya tenemos acceso a este fichero debemos fijarnos en 2 cosas, por un lado, hay partes comunes para todos los wordpress y luego hay cosas personalizadas para cada web, lo que yo recomiendo de forma genérica para wordpress es:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://AQUITUDOMINIO.com/sitemap_index.xml

Esto va a permitir que se acceda hasta el fichero admin-ajax.php pero que deniegue el acceso hasta /wp-admin/ que realmente no tiene sentido que google acceda ya que se trata de nuestro panel de control.

Por otro lado tenemos el sitemap al cual le indicamos la ruta para facilitar el acceso.

Ahora, deberemos rastrear nuestra página web y decidir si tenemos rutas como por ejemplo avisos legales, politicas de privacidad etc que no queremos que google indexe y añadirlas a este mismo fichero.

Una vez actualizado este fichero con todas tus rutas solo dees guardarlo y ya quedaría todo listo, tanto google como el resto de buscadores se encargarán de leerlo automáticamente para determinar que si indexar y que no indexar.

Fuente: https://www.eskimoz.es/