Inicio Explorar Axuda
Rexistro Iniciar sesión
alfre
/
site-com
1
0
Fork 0
Ficheiros Incidencias 0 Pull Requests 0 Wiki
Árbore: 18a318d06c
Ramas Etiquetas
site-com
/
static
/
robots.txt

robots.txt 275 B
Histórico Raw

12345678910111213141516171819 
  1. # https://gazperi.com/robots.txt
    2. 

  2. 

  3. User-agent: *
    4. 

  4. Allow: /
    5. 

  5. 

  6. # AI / agent crawlers — explicit allow
    7. 

  7. User-agent: GPTBot
    8. 

  8. Allow: /
    9. 

  9. 

  10. User-agent: ClaudeBot
    11. 

  11. Allow: /
    12. 

  12. 

  13. User-agent: Google-Extended
    14. 

  14. Allow: /
    15. 

  15. 

  16. User-agent: PerplexityBot
    17. 

  17. Allow: /
    18. 

  18. 

  19. Sitemap: https://gazperi.com/sitemap.xml
    20.