Robot.txt kısa anlamı ile bir dosya türüdür. Bu dosya şekli farklı birçok arama motorlarının sitenizde erişmemesi gereken yerleri göstermesi adına sitelere yerleştirilmiş olan bir kök dizin dosyasıdır. Çok da büyük olmayan bir komut kısmına sahip olan ‘robotları engelleme standardı’ olarak Türkçe tabir ile bilinen bir standart kullanmaktadır. Sistem bu komutlar ile çalışmaktadır.

Her hangi bir siteye erişim noktasında masaüstü ya da mobil tarayıcıya göre değişikliğe uğrayarak hangi bölümlerin saklanması gerektiğini gösterir. Site sahipleri bazı zamanlar sitenin bazı bölümlerine arama motorlarının erişimlerini istemezler. Bilindiği üzere tüm arama motorları sitelere belli botlar ile giriş yaparak sitelerin içeriğine algoritmik bir yazılım eşliğinde kontrolünü yapar ve bu sayede sitenin arama motoruna eklenmesi ile birlikte aynı zamanda kaçıncı sırada çıkması gerektiğinin tahlilini yapar. Bilindiği gibi SEO bazında, yani en fazla insana ulaşmak noktasında bu arama motorları botlarının siteler için büyük bir önemi vardır.