El marketing digital es el pilar fundamental para el éxito de tu negocio en Internet. Todas las estrategias van dirigidas hacia la búsqueda del posicionamiento de tus contenidos y servicios en la web. De modo que manejar las herramientas de marketing te ayudarán a crecer en el mundo de los negocios.
Entre una de estas herramientas, está el archivo Robots.txt que, básicamente, se ocupa de comunicarle a los motores de búsqueda cómo examinar tu web, lo que hace que se transforme en un instrumento de SEO extraordinariamente eficaz.
¿Qué es un archivo robots.txt?
Como ya adelantamos, es un registro de texto que tiene como fin comunicarle a los bots de los motores de búsqueda cómo examinar e indexar el contenido de un sitio web.
Normalmente, se aloja en el directorio raíz del sitio. El formato esencial de un archivo robots.txt tiene los siguientes elementos:
- User-agent: [user-agent name]
- Disallow: [URL string not to be crawled]
- User-agent: [user-agent name]
- Allow: [URL string to be crawled]
- Mapa del sitio: [URL de su mapa del sitio XML]
El archivo robots.txt contiene diversas líneas de programación para admitir o no URLs determinadas y configurar así varios mapas del sitio. Si una URL no es objetada, entonces los motores de búsqueda asumen que pueden proceder a rastrearla.
De esta manera, un archivo de ejemplo de robots.txt puede ser el siguiente:
- User-Agent: *
- Allow: /wp-content/uploads/
- Disallow: /wp-content/plugins/
- Disallow: /wp-admin/
Cómo optimizar para SEO un robost.txt
Necesitas un archivo robots.txt, de lo contrario los motores de búsqueda permanecerán rastreándote e indexando tu web. No obstante, no conseguirás indicarle a los robots de búsqueda acerca de los archivos o páginas que no deben indexar.
Esto significa que no conseguirás el necesario reconocimiento al empezar un blog al no tener suficiente contenido. Pero, a medida que tu sitio prospera y consiga una buena cantidad de contenido, es posible que quieras tener un mayor control sobre este tema de rastreo y ordenamiento de datos de tu sitio web.
No obstante, es aconsejable tener en cuenta que los robots de indexación tienen asignada una cuota de rastreo por cada página. Esto significa que examinan una determinada cantidad de webs durante una consulta de rastreo. Si no consiguen completar esta acción, volverán y restablecerán el rastreo en la siguiente sesión, lo que resulta en una tasa de indexación más lenta.
Esto lo puedes solucionar restringiendo a los bots en el rastreo de páginas superfluas, como, por ejemplo, las páginas de gestión de WordPress, los registros de plugins y la carpeta de contenidos.
Al no admitir páginas innecesarias, estás resguardando el porcentaje de rastreo. Esto favorece a los motores de búsqueda para examinar aún más archivos de tu sitio e indexarlos rápidamente.
Otra razón por la que te favorece usar el archivo robots.txt, es porque evita, si así lo quieres, que los motores de búsqueda registren una página o una determinada publicación en tu sitio. No es que esta sea la manera más positiva de esconder contenido del público frecuente, pero te permitirá impedir que salgan en los resultados de búsqueda.
De qué forma verás un archivo e robots.txt
La mayoría de blogs administran un archivo robots.txt básico. Su contenido va teniendo variaciones, según los requerimientos del sitio:
- User-Agent: *
- Allow: /wp-content/uploads/
- Disallow: /wp-content/plugins/
- Disallow: /wp-admin/
- Sitemap: https://example.com/sitemap_index.xml
En el anterior ejemplo de robots.txt hacemos que los motores de búsqueda hagan una indexación de archivos en la carpeta de WordPress. Después de esto, no admitimos que los robots busquen e indexen carpetas de administración y complementos de WordPress. Y finalmente, hemos suministrado la URL correspondiente a nuestro mapa del sitio XML.
De esta manera, el robots.txt le informa a los buscadores que registren los archivos e imágenes de WordPress. No obstante, no admite que los bots indexen la administración del WordPress, los archivos de plugins, enlaces de afiliados o el archivo Readme de WordPress.
¿Cómo crear un archivo Robots.txt en WordPress?
En WordPress existen 2 maneras de generar un archivo robots.txt. Puedes seleccionar el mejor método según tus necesidades.
Método 1: Editar el archivo Robots.txt usando todo en uno SEO
También conocido como AIOSEO, All in One SEO está considerado como uno de los mejores complementos SEO para WordPress del mercado, con una base de usuarios de 2 millones de páginas web. Es fácil de utilizar e incluye un optimizador de archivos robots.txt. La versión gratuita de AIOSEO también tiene disponible esta función.
Cuando se completa la instalación y activación del complemento, puedes emplearlo para generar y editar tu archivo robots.txt directamente desde la administración del WordPress. Sencillamente, dirígete a All in One SEO, Herramientas para editar archivo robots.txt >> Editor de robots.txt de AIOSEO.
Primero, deberás activar la opción de edición, haciendo clic en el botón “habilitar robots.txt personalizado” para cambiar a azul. Con esta opción activada, puedes crear un archivo robots.txt personalizado en WordPress. AIOSEO habilitará un robots.txt personalizado.
All in One SEO mostrará tu archivo robots.txt existente en la sección “vista previa de robots.txt” en la parte inferior de la pantalla. Este programa te enseñará las reglas anticipadas que ha añadido a WordPress como reglas predeterminadas de Robots.txt.
Estas reglas predeterminadas dan cuenta a los motores de búsqueda de tu deseo de que sean rastreados tus archivos centrales de WordPress, permitiendo a los bots indexar todo el contenido y proporcionarles un enlace a los mapas XML de tu sitio. Ahora bien, puedes también añadir tus propias reglas personalizadas para mejorar tu robots.txt para SEO.
Para añadir una regla, introduce un agente de usuario en el campo “agente de usuario“. Usar un * te permite aplicar la regla a todos los agentes de usuario. Elige entre “Permitir” o “No permitir” que los bots procedan a la indexación.
A continuación, introduce el nombre del archivo o la ruta del directorio en el campo “ruta del directorio”. Añadir regla en robots.txt. La regla se aplicará automáticamente a tu archivo robots.txt. Para añadir una nueva regla, haz clic en el botón “agregar regla”.
Te recomendamos añadir reglas hasta que crees el formato de robots.txt ideal que te compartimos anteriormente. Al finalizar, no olvides guardar los respectivos cambios, haciendo clic en “guardar cambios”.
Método 2. Edite el archivo Robots.txt manualmente mediante FTP
En este caso, para editar el archivo robots.txt, debes hacer uso de un cliente FTP.
Solo tienes que conectarte a la cuenta de hosting de WordPress por medio de un cliente FTP, y tan pronto como hayas accedido, en la carpeta raíz de tu sitio web verás el archivo robots.txt. Si no es así, es probable entonces que no haya sido creado.
En este sentido, es posible generar uno al hacer clic en “conexión FTP y crear robots.txt”. Debes tener en cuenta que se trata de un archivo de texto sin formato, por lo que puede ser descargado en el ordenador y editarlo haciendo uso de distintos editores de texto sin formato, como el TextEdit o el clásico Bloc de Notas.
Una vez que los cambios son guardados, es posible cargarlo de nuevo en la raíz del website.
