Guía Robots TXT para WordPress

Contar con un archivo robotos.txt estructurado adecuadamente te servirá para dirigir a los robots hacía las páginas que deseas que se indexen omitiendo otras de menor relevancia. Este tipo de archivos le facilitarán el trabajo a los robots de los diferentes motores de búsqueda y te permitirán un mejor posicionamiento en los resultados de búsqueda.

Qué es un archivo robots.txt de WordPress

Este archivo viene predeterminado por WordPress sin embargo, es muy básico y puedes modificarlo fácilmente. Le permite a los diferentes robots de los buscadores rastrearlo y crear un mapa que incluye las páginas que están establecidas en el archivo. Es una manera de decirle a los buscadores cuáles son las páginas que debe indexar.

Cuando se utiliza el archivo predeterminado de robots.txt, este puede incluir una cantidad una gran cantidad de elementos que no son necesario indexar como los plugins, por ello editarlos a tu conveniencia te ofrecerá mejores resultados, ya que puedes estructurarlos fácilmente sin necesidad de tener amplios conocimientos.

A pesar de no tener un archivo robots.txt en tu página, los buscadores realizarán el rastreo. Es muy útil  para que se indexe el contenido detallado de tu web y excluir aquellas páginas que no deseas que sean indexadas. El aspecto más relevante de un archivo robots.txt es que evitarás que una gran cantidad de robots ingrese en tu página, lo que puede afectar el rendimiento de tu web.

Cómo configurar el archivo robots.txt

En primer lugar, el archivo robots.txt se encuentra ubicado en la carpeta principal del servidor. Podrás visualizarlo si colocas en el navegador tusitioweb./robots.txt, y notarás una línea de comandos como la siguiente:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

El ejemplo anterior es un archivo robots.txt básico. El significado del asterisco en User-agent, indica a qué robots se aplicarán las reglas, en este caso  se aplicará a todos los robots. En el ejemplo indica que expresamente que los robots no puede ingresar a los directorios  wp-admin y wp-includes, lo cual es conveniente, ya que en esas carpetas existen archivos confidenciales. Sin embargo, podrían agregarse otras reglas.

WordPress limita de manera predeterminada el acceso al  archivo robots.txt, por tanto para poder realizar cambios, es necesario crear un archivo propio y sustituir el existente. Antes de realizar cambios es conveniente establecer que reglas se deben incluir en el archivo robots.txt.

Si bien por defecto solo incluye dos reglas, puedes establecer otras. Observa el ejemplo que presentamos a continuación:

User-agent: *
Allow: /
# Disallowed Sub-Directories
Disallow: /checkout/
Disallow: /images/
Disallow: /forum/

En este caso vemos un archivo robots utilizado en una página web con un foro. Le indica a los motores de búsqueda que indexen los hilos de un foro. Esto podrás cambiarlo para que Google no indexe todos los hilos de los usuarios y establecer reglas que permitan a los robots evitar  sub foros específicos y permitiendo que  los motores de búsqueda rastreen el resto.

En la línea que indica  Allow: / en la parte superior del archivo, indica que los robots tienen permiso para rastrear todas las páginas de tu web  y la excepciones en la parte inferior.  También puede observarse que las reglas son de carácter universal porque cuentan con un asterisco.

Si por ejemplo deseas evitar que los robots de búsqueda de Bing rastreen tu sitio deberás establecer la regla como se muestra a continuación:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
User-agent: Bingbot
Disallow: /

Esto te permite ser específico sobre cuales robots no deseas que accedan a tu página, aunque el Bingbot como el Googlebot no representan ningún riesgo, hay algunos que si lo son. Con estas instrucciones solo estás pidiendo amablemente a los bots que no accedan a tu web.

Nuestra recomendación es tener pocas reglas como lo establecemos en el siguiente ejemplo:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/

Generalmente WordPress por defecto bloquea el acceso a los directorios wp-admin y wp-includes, pero no se considera adecuado, ya que si incluyes metadatos en tus  imágenes para favorecer el  SEO, no es lógico prohibir el acceso de los robots a la información. Utilizando las reglas anteriores el archivo robots.txt estará bien configurado.

Creación de robots.txt en WordPress

Para editar robots.txt si utilizas WordPress hay tres maneras de hacerlo. Dos de las formas incluyen plugins y la tercera se realiza de manera manual.

Los parámetros que se utilizan son los siguientes:

• User Agent: especifica para qué bots están destinadas las reglas
• Disallow: indica el bloqueo de acceso.
• Allow: indica excepciones a disallow.
• Crawl-delay: establece el  tiempo entre peticiones que el bot hace en el sitio web; su efectividad es casi nula
• Sitemap: especifica la ruta en el que se encuentra el sitemap de la  web.
• Asterisco (*): se utiliza para incluir “todos”. Ulilizar /*.html$ >  indica que la regla aplica a todos los archivos html.

Creación de robots.txt con Plugin Yoast SEO

Para quien trabaja con WordPress, el Yoast SEO, es bastante familiar. Este plugin además de optimizar tus publicaciones e  incrementar la legibilidad del contenido, te permite la creación de archivos robots.txt. Solo debes ingresar en la pestaña SEO / Herramientas/ Editor de Archivos.

Una vez que has accedido al editor, solo debes hacer clic en el enlace, que te llevará a una nueva página para editar el archivo. htaccess sin necesidad de salir del escritorio. También puedes utilizar el botón Crear archivo robots.txt que se encargará en pocos pasos de crear un archivo robotx txt.

Al recurrir a esta opción podrás visualizar un nuevo editor de textos que podrás modificar a tu conveniencia. Solo debes considerar que Yoast establece reglas predeterminadas que anulan el robotx.txt existente. Es necesario que cuando agregues o elimines reglas, guardes los cambios para que se apliquen.

Crear archivo robots.txt con All in One Seo Pack

Este es otro plugin popular entre los usuarios de WordPress. Es similar al Yoast SEO, pero es más liviano. Para crear un archivo robots.txt es también muy sencillo. Una vez configurado el plugin solo debes dirigirte al Gestor de Utildiades en el Escritorio y ubicar la opción Robots.txt.  Solo debes hacer clic sobre él y aparecerá una nueva pestaña. Al ingresar podrás ver la opción para agregar reglas a tu archivo, realiza las modificaciones y haz clic en guardar los cambios.

Este plugin te permitirá bloquear robots «malos» utilizando la característica de «bloqueo de robots malos».

Creación manual de robots.txt

Eso es todo lo que tienes que hacer si eliges este método.

Si no quieres utilizar un plugin, también puedes crearlo manualmente.  Para ello deberás crear y cargar el archivo a través de FTP. Es realmente muy sencillo. Solo tienes que abrir un editor de textos y escribir las líneas. Guarda el archivo utilizando el nombre de tu preferencia y creas el archivo .txt.  Guarda el archivo en tu ordenador y conéctate a tu web mediante FTP.

Una vez conectado a tu web, ubica la carpeta public_html y carga el nuevo archivo desde tu ordenador al servidor. Es muy sencillo, puedes hacer clic con el botón derecho en el archivo, arrastrándolo o utilizando el navegador local de tu cliente FTP. El proceso demorará solo unos segundos.

Si deseas incrementar el posicionamiento y visibilidad de tu web, asegúrate de que el archivo robots.txt esté bien configurado y que  Googlebot, rastree el contenido que más te sea conveniente.