Robots.txt er en fil der kan kommunikere til Google, hvis der f.eks. er nogle sider, som du ikke vil have indekseret. Hvis du har noget stående i robots.txt, så kan Google godt indeksere det, men de må ikke læse det.
Har du altså en side, som Google ikke må se, kan du skrive det i robots.txt. Det kan også bruges, hvis du gerne vil have fjernet en bot, eller lignende.
Det kan derfor også tolkes som en service, som f.eks. kan fjerne ting, du ikke er tilfreds med eller bare ikke ønsker forbundet med din side.
