robots.txt, bir sitenin otomatik tarayıcılara hangi yolların taranmamasını önerdiğini bildiren metin dosyasıdır; erişimi kilitlemediği için kapıya asılan not ile kilit arasındaki farkı taşır.