SGE Blog Yayınları

Web Uygulamalarda Robots.txt Dosyası Bulundurulması Açıklığı

Web Uygulamalarda Robots.txt Dosyası Bulundurulması Açıklığı

yazan Hasan Fatih Şimşek -
Number of replies: 0

Robots.txt dosyası web uygulamalarındaki hassas dizinlerin arama motorlarınca taranmasının önüne geçmek için geliştirilmiş bir tekniktir. Arama motorları bir web uygulamasını taradıklarında Robots.txt dosyası varsa önce ona bakarlar ve belirtilen dizinleri index'lemezler (kaydetmezler). Böylece arama motoru sonuçlarında hassas dizinler görünmezler.

Robots.txt dosyası web geliştiricileri tarafından güvenliği sağlamak noktasında avantajlı görünse de aslında saldırganlar için bir kolaylık haline dönüşebilmektedir. Çünkü saldırganlar şayet Robots.txt dosyası olmazsa arama motorlarındaki sonuçları irdeleye irdeleye ve uygulama üzerinde körlemesine dizin tespit testleri yapa yapa hassas dizinleri bulmaya çalışırken Robots.txt dosyası olduğunda hiçbir külfete katlanmadan direk hassas dizinleri tespit edebilmektedirler. Yani Robots.txt dosyası dikkatleri üzerine çeken ve beklenenin aksine ters bir etkiye sahip olduğundan kullanılmaması önerilmektedir. Böylece saldırganlara ekstra külfet vererek güvenlik bir seviye yukarı çıkarılmış olur.

Mevcut durumda henüz bilgi ifşası verilmemiş durumdaysa da bilgi ifşasına sebep olacak yol açık durumdadır. Bu nedenle robots.txt kullanımı durdurulmalıdır.

Önlem olarak Robots.txt dosyasının web projelerin içerisinden silinmesi gerekmektedir. Aynı işlev ilgili hassas dizinlerde web sayfaların head etiketleri arasına aşağıda gösterilen kodun yerleştirilmesiyle hassas dizin ifşasına mahal vermeden yapılabilmektedir.

robots.txt1

176 kelime