Generador

Generador de robots.txt con politicas listas para IA

Genera un robots.txt con una politica clara para bots de IA y un bloque base para rutas sensibles.

Uso

Control de answer bots y training bots

Salida

robots.txt + recomendacion header

Preset

Equilibrada

Configura la politica de acceso
Escoge la politica que mejor encaje con tu estrategia y revisa las rutas que no deberian estar abiertas.

Politica

robots.txt generado
Snippet listo para publicar. Incluye una recomendacion de Content-Signal como comentario superior.
# robots.txt generated by Semantiz SEO Tools
# Recommended header: Content-Signal: search=yes, ai-input=yes, ai-train=no

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /checkout/
Disallow: /internal/
Sitemap: https://semantiz.com/sitemap.xml

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /
Lo que te conviene revisar antes de publicar
  • No mezcles control de entrenamiento con cabeceras privadas; cada capa tiene una funcion distinta.
  • Bloquea rutas transaccionales o privadas incluso si dejas abierto el sitio publico.
  • Si cambias la politica, revisa tambien tus headers para que el mensaje sea coherente.
Cuando acabes con la capa tecnica, mide la visibilidad real
Usa estas herramientas para corregir lo tecnico y luego valida el impacto real con el audit completo de Semantiz.
Ejecutar GEO Audit gratis

Siguientes herramientas recomendadas

Generador llms.txt
0 coste LLM
Convierte tus paginas clave en un llms.txt listo para publicar.

Genera un llms.txt limpio con paginas agrupadas y descripciones entendibles por agentes.

Validador de Schema
Puntuacion inmediata
Valida si tus datos estructurados son utiles para consumidores de IA.

Pega tu JSON-LD y recibe feedback rapido sobre tipos, huecos y propiedades recomendadas.

Generador de metadatos
Snippet para head
Prepara una cabecera fuerte sin empezar desde cero.

Genera un bloque HTML head con canonical, Open Graph, Twitter y JSON-LD basico.