40 years old Motor Mechanic (General ) Rodrick from Happy Valley-Goose Bay, has lots of hobbies and interests which include jewellery, and fossils. Has travelled since childhood and has been to numerous spots, like Barcelona.

Todos aman los «hacks».

No soy la excepción––Me encanta hallar maneras de hacer mi vida mejor y más fácil.

Es por esto que la técnica que te voy a contar hoy es una de mis favoritas. Es un hack de SEO que puedes empezar a emplear de manera inmediata.

Es una manera de incrementar tu SEO al aprovechar una parte natural de cada sitio que muy extrañamente se mienta. Tampoco es difícil incorporarla.

Es el archivo robots.txt (también llamado protocolo o bien estándar para la exclusión de los robots).

Este pequeño fichero de texto es parte de cada sitio en la red, pero la mayoría de las personas no lo conocen.

Está diseñado para funcionar con los motores de búsqueda, pero sorprendentemente, es una fuente poder SEO que está aguardando a ser descubierta.

He visto a muchos clientes del servicio hacer de todo para progresar el SEO de su sitio. Cuando les digo que pueden editar un pequeño fichero de texto, prácticamente no me creen.

Sin embargo, hay muchos métodos para progresar tu SEO que no son difíciles ni te quitan un buen tiempo, y éste es uno de ellos.

No precisas tener ninguna experiencia técnica para aprovechar el poder de los robots.txt. Si puedes localizar el código fuente para tu sitio, puedes emplear esto.

Cuando estés listo, sígueme y te explicaré la manera en la que puedes mudar tu fichero de robots.txt a fin de que a los motores de búsqueda les guste.

Descubre cómo aproveché el posicionamiento en buscadores para.

Por qué el archivo robots.txt es importante

Primero, echemos una ojeada al porqué es esencial el archivo robots.txt.

El fichero robots.txt, también conocido como el protocolo o bien estándar de exclusión de robots, es un fichero de texto que les dice a los robots web (motores de búsqueda) qué páginas de tu lugar deben rastrear.

También les afirma a los robots web qué páginas
no debenrastrear.

Supongamos que un motor de búsqueda está a punto de visitar un sitio. Antes de que visite la página objetivo, comprobará el archivo de robots.txt para recibir instrucciones.

Existen diferentes tipos de ficheros robots.txt, así que echemos un vistazo a los diferentes tipos de apariencia que tienen.

Digamos que el motor de búsqueda encuentra:

Esta es la columna vertebral del archivo robots.txt.

El asterisco después de «user-agent» quiere decir que el archivo robots.txt está abierto a todos los robots que visiten el sitio web.

La diagonal después de «Disallow» le dice al robot que no visite ninguna página en el sitio web.

Quizá te estés preguntando por qué alguien querría eludir que los robots web visitaran su sitio.

Después de todo, uno de los objetivos principales del posicionamiento SEO es lograr que los motores de búsqueda rastreen tu sitio web de una forma más sencilla para incrementar tus rankings.

Aquí es donde se halla el secreto de este hack de posicionamiento SEO.

Probablemente tengas muchas páginas en tu sitio, ¿verdad? Aun si consideras que no es así, revísalo. Quizá te sorprendas.

Si un motor de búsqueda rastrea tu sitio, éste rastreará cada una de tus páginas.

Y si tienes muchas páginas, le llevará mas tiempo rastrearlas al bot del motor de búsquedas, lo que tendrá efectos negativos en tu ranking.

Esto se debe a que el Googlebot (el bot del motor de búsqueda de Google) tiene un «presupuesto de rastreo.»

Esto se divide en dos partes. El primero es una tasa límite de rastreo.:

La segunda parte es una demanda de rastreo:

Básicamente, el presupuesto de rastreo es «el número de URLs que el Googlebot puede y desea rastrear».

Necesitas asistir al Googlebot a invertir su presupuesto de rastreo para tu sitio web de la mejor forma posible. En otras palabras, debería emplear el tiempo en rastrear tus páginas más valiosas.

Existen determinados factores que, de acuerdo con Google, «afectarán negativamente el rastreo y la indexación de un sitio.»

Estos son esos factores:

estrategia de marketing .

Si creas la página adecuada de robots.txt, puedes decirle a los bots de los motores de búsqueda (y especialmente al Googlebot) que eviten ciertas páginas.

Piensa en lo que esto implica. Si le afirmas a los bots de los motores de búsqueda que únicamente rastreen tu contenido más útil, los bots rastrearán y también indexarán tu sitio con el foco en ese contenido únicamente.

:

«No deseas que tu servidor se sienta abrumado por el rastreador de Google o desperdiciar presupuesto de rastreo al rastrear páginas no esenciales en tu sitio web.»

Al utilizar tu robots.txt de la manera adecuada, puedes decirle a los bots de los motores de búsqueda que inviertan su presupuesto de rastreo inteligentemente. Y eso es lo que hace que el fichero robots.txt sea tan útil en un contexto de posicionamiento web.

¿Te sientes intrigado por el poder de los robots.txt?

¡Pues deberías! Charlemos sobre cómo encontrarlo y emplearlo.

Encuentra tu archivo robots.txt

Si sólo quieres echar un rápido vistazo a tu fichero robots.txt, existe una forma súper fácil.

De hecho,
este método funcionará con cualquier sitio.Por lo que puedes echar una ojeada a los ficheros de otros sitios web y ver lo que están haciendo.

Lo único que tienes que hacer es teclear la URL básica del sitio web en la barra de búsquedas de tu navegador (ejemplo: neilpatel.com, quicksprout.com, etc). Y después añadir /robots.txt al final.

Te encontrarás con una de estas tres situaciones:

1) Encontrarás un fichero robots.txt.

2) Encontrarás un fichero vacío.

Por ejemplo, semeja queno tiene un fichero robots.txt:

3) Obtendrás un error cuatrocientos cuatro.

muestra un fallo 404 con archivos robots.txt:

Echa un segundo vistazo a tu propio archivo de robots.txt.

Si encuentras un fichero vacío o bien un fallo 404, necesitarás solucionarlo.

Si encuentras un archivo válido, seguramente tiene la configuración predeterminada que fue creada cuando hiciste tu sitio web.

Me gusta este método singularmente para ver los ficheros robots.txt de otros sitios web. En el momento en que aprendas cómo marchan los archivos robots.txt, este método puede ser un valioso ejercicio.

Ahora veamos cómo cambiar tu archivo robots.txt.

Encuentra tu fichero robots.txt

Tus siguientes pasos van a depender de si tienes un archivo robots.txt. (Examina si lo tienes al usar el método que describí anteriormente).

Si no tienes un archivo robots.txt, necesitarás crear uno desde cero. Abre un editor de texto como el Bloc de Notas (en Windows) o TextEdit (Mac).

Solamente utiliza un
editor de texto planopara esto. Si utilizas programas como Microsoft Word, el programa podría introducir código adicional al texto.

Editpad.org es una genial opción gratuita, y es lo que me verás utilizando en este artículo.

Volvamos a los robots.txt. Si tienes un fichero robots.txt, necesitarás situarlo en el directorio root de tu sitio web.

Si no estás acostumbrado a adentrarte en el código fuente, podría ser un poco difícil ubicar la versión editable de tu archivo robots.txt.

Normalmente, puedes localizar tu directorio root al ir al sitio web de tu proveedor de hosting, entrar, y también ir a la sección de administración de archivos o FTP de tu sitio.

Deberías ver algo así:

Encuentra tu fichero robots.txt y ábrelo para editarlo. Borra todo el texto, pero mantén el fichero.

Nota: Si estás utilizando WordPress, quizá veas un archivo robots.txt cuando vayas a tusitio.com/robots.txt, pero no podrás hallarlo en tus ficheros.

Esto se debe a quesi no hay robots.txt en el directorio root.

Si esto te sucede, necesitarás crear un nuevo fichero robots.txt.

Crea un archivo robots.txt

Puedes crear un nuevo fichero robots.txt al usar el editor de texto plano que escojas. (Recuerda, usa solamente un editor de texto plano).

Si ya tienes un archivo robots.txt, asegúrate de que has borrado el texto (mas no el archivo).

Primero, necesitarás familiarizarte con algo de la sintaxis usada en un archivo robots.txt.

de algunos de los elementos básicos de robots.txt:

Te voy a mostrar cómo configurar un fichero robots.txt fácil, y después echaremos una ojeada a cómo personalizarlo para tu posicionamiento web.

Comienza fijando el término user-agent. Vamos a configurarlo de manera que esté abierto a todos los robots web.

Puedes conseguir esto al usar un asterisco después del término usuario-agent, así:

Después, teclea «Disallow:» mas no teclees nada después de eso.

Debido a que no hay nada después de disallow, los robots web se dirigirán a rastrear todo tu sitio. En este momento, todos los elementos de tu sitio serán frágiles.

Hasta este momento, tu fichero robots.txt debería verse así:

Sé que se ve súper sencillo, pero estas dos líneas están haciendo mucho por tu sitio web.

También puedes crear un link a, mas no es necesario. Si quieres, esto es lo que puedes escribir:

Aunque no lo creas, así debería verse un archivo robots.txt básico.

Ahora llevemos esto al siguiente nivel y transformemos este pequeño archivo en un potenciador SEO.

Optimiza los robots.txt para SEO

El cómo optimes tus robots.txt depende del contenido que tengas en tu sitio. Existen 3 tipos de formas en las que puedes utilizar los robots.txt a favor tuyo.

Voy a ver contigo algunas de las formas más comunes de emplearlo.

( agencia de publicidad online barcelona que

nodeberías usar robots.txt para bloquear páginas de los motores de búsqueda.Eso sería un enorme no-no).

Uno de los mejores usos del fichero robots.txt es aumentar al máximo los presupuestos de rastreo de los motores de búsqueda al decirles que no rastreen las unas partes de tu sitio web que no se muestran públicamente.

Por ejemplo, si visitas el fichero robots.txt de este sitio (neilpatel.com), verás que tiene bloqueada la página de login (wp-admin).

Debido a que esta página se utiliza para entrar a la parte privada del sitio web, no tendría mucho sentido para los bots de los motores de búsqueda desperdiciar su tiempo rastreándola.

(Si tienes WordPress, puedes emplear la misma línea disallow).

Puedes utilizar una indicación similar (o comando) para evitar que los bots rastreen páginas específicas. Después del disallow, introduce la una parte de la URL que viene después del .com. Pone eso entre las dos diagonales.

Si quieres decirle a un bot que no rastree tu página, puedes teclear esto:

Quizá te estés preguntando qué géneros de páginas deberías excluir de indexación. Aquí hay un par de escenarios comunes en donde esto puede suceder:

Contenido intencionalmente duplicado. Aunque el contenido duplicado es en gran parte algo malo, existen unos cuantos casos en los que es necesario y admisible.

Por ejemplo, si tienes una versión imprimible de tu página, técnicamente tienes contenido duplicado. En este caso, podrías decirle a los bots que no rastreen una de esas versiones (generalmente, la versión imprimible).

Esto es muy útil si estás haciendo split testing con páginas que tienen exactamente el mismo contenido pero diseños distintos.

Páginas de gracias.La página de GRACIAS es una de las páginas favoritas de los marketers porque significa un nuevo lead.

¿Verdad?

Al parecer,
algunas páginas de gracias son accesibles a través de Google.Esto significa quesin pasar por el proceso de atrapa de leads, y esto no es bueno.

Al bloquear tus páginas de
gracias, puedes cerciorarte de que únicamente los leads cualificados estén viéndolas.

Pongamos que tu página de gracias se encuentra en. En tu archivo robots.txt, bloquear esa página se vería así:

Debido a que no hay reglas universales para saber qué páginas desautorizar, tu archivo robots.txt será único en tu sitio web. Usa tu propio criterio aquí.

Existen otros 2 tipos de comandos que deberías conocer:
noindex y nofollow.

¿Sabes qué comando disallow hemos estado usando? Realmente no evita que esa página sea indizada.

En teoría, podrías desautorizar una página, mas aun así, podría finalizar en el índice.

Generalmente, no te resulta interesante eso.

Es de ahí que que precisas el comando noindex, que funciona con el comando disallow para asegurar que no los bots no visiten o bien indexen ciertas páginas.

Si tienes algunas páginas que no deseas que se indexen (como las páginas de gracias), puedes usar ambos comandos, disallow y noindex:

Ahora sí, esa página no se mostrará en las SERPs.

Finalmente, tenemos el comando nofollow. De hecho, es la mismo que el. En resumen, le dice a los robots web que no rastreen los enlaces en una página.

Pero el comando nofollow vamos a incorporarlo de una forma un tanto diferente, por el hecho de que realmente no forma parte del fichero robots.txt.

Sin embargo, el comando nofollow sigue dando indicaciones a los robots web, por lo que es exactamente el mismo concepto. La única diferencia se encuentra en dónde se incorpora.

Encuentra el código fuente de la página que desees cambiar, y
asegúrate de que esté entre las etiquetas <head>.

Después, queja esta línea:

<meta name=»robots» content=»nofollow»>

De forma que se vea así:

Asegúrate de no estar poniendo esto entre alguna otra etiqueta––sólo las etiquetas <head>.

Esta es otra excelente opción para tus páginas de
gracias, dado a que los robots web no rastrearán links a ningún imán de leads u otro contenido exclusivo.

Si deseas añadir ambos comandos: noindex y nofollow, usa esta línea de código:

<meta name=»robots» content=»noindex,nofollow»>

Esto le dará a los robots web ambos comandos al tiempo.

Haz pruebas con todo

Finalmente, haz pruebas con tu fichero robots.txt para estar seguro de que todo es válido y funciona de la manera adecuada.

Google pone a tu disposición un ecosistema de pruebas para robots.txt como una parte de sus herramientas para Webmasters.

Primero, entra enal hacer clic en «Acceder» en la esquina superior derecha de tu pantalla.

Selecciona tu propiedad (ejemplo: sitio web) y haz click en «Rastrear» al lado izquierdo de tu pantalla.

Verás el
testerde «robots.txt.» Haz clic ahí.

Si ya hay algún código en esa sección, bórralo y reemplázalo con tu nuevo fichero robots.txt.

Haz click en «Probar» en el rincón inferior derecha de la pantalla.

Si el texto de «Probar» cambia a «Permitido,» eso quiere decir que tu fichero robots.txt es válido.

sobre la herramienta a fin de que puedas aprender qué significa todo con más detalle.

Finalmente, sube tu fichero robots.txt a tu directorio root (o guárdalo ahí si ya tenías uno). Ahora tendrás como arma un poderoso archivo, y deberías ver un incremento en tu visibilidad de búsqueda.

Conclusión

Siempre me agrada compartir pequeños «hacks» de SEO que te pueden dar una ventaja real de muchas maneras.

Al configurar tu fichero robots.txt adecuadamente, no sólo estás mejorando tu posicionamiento web. También estás ayudando a tus usuarios.

Si los bots de los motores de búsqueda pueden utilizar sus presupuestos de rastreo inteligentemente, organizarán y mostrarán tu contenido en las SERPs de una mejor manera, lo que quiere decir que tendrás mayor visibilidad.

Tampoco lleva mucho esmero para configurar tu fichero robots.txt. Podríamos decir que es una configuración que se hace una sola vez, y puedes hacer tantos pequeños cambios como precises por el camino.

Ya sea con tu primer sitio web o bien con el quinto, usar robots.txt puede suponer una diferencia significativa. Te recomiendo darle una vuelta si no lo has hecho ya antes.

¿Cuál es tu experiencia al crear archivos robots.txt?