Generador de robots.txt
Armá el archivo con las reglas que necesites y descargalo listo para subir.
Para qué sirve el archivo robots.txt
Es un archivo de texto simple que le indica a los buscadores qué partes de tu sitio pueden rastrear y cuáles no — por ejemplo, un panel de administración, una carpeta de archivos internos o una versión de prueba del sitio. No es una medida de seguridad (cualquiera puede leerlo, y no impide que alguien entre a esas rutas a mano), pero ayuda a que los buscadores no gasten tiempo de rastreo en páginas que no aportan valor en los resultados de búsqueda.
Una regla por bloque, un bloque por bot
La regla más común es un solo bloque con User-agent: *, que aplica a todos los
bots por igual. Si necesitás un comportamiento distinto para un buscador en particular (por
ejemplo, permitirle a Googlebot rastrear una carpeta que le bloqueás al resto), agregá un
bloque nuevo con el User-agent específico de ese bot.
Preguntas frecuentes
¿Dónde tengo que subir el archivo robots.txt?
Tiene que quedar en la raíz del sitio, con ese nombre exacto — por ejemplo tudominio.com/robots.txt. Si lo subís a una subcarpeta o le cambiás el nombre, los buscadores no lo van a encontrar y lo van a ignorar por completo.
¿El robots.txt evita que una página aparezca en Google?
No necesariamente. Bloquear una ruta con Disallow evita que los buscadores rastreen esa página, pero si ya la conocían por otro link, puede seguir apareciendo en los resultados sin descripción. Para evitar que una página específica se indexe, la forma correcta es la etiqueta meta robots "noindex" en esa página, no el robots.txt.
¿Todos los buscadores respetan el Crawl-delay?
No. Google lo ignora por completo (usa su propio sistema para regular la velocidad de rastreo desde Search Console), pero buscadores como Bing o Yandex sí lo tienen en cuenta. Por eso este campo es opcional y solo tiene efecto real sobre algunos bots.
¿Te falta alguna herramienta?
Contanos qué necesitás y la sumamos al catálogo.