quote:

Orijinalden alıntı: aksoydesign

Öncelikle merhaba.
Bilmenizi isterim ki eğer bir konu hakkında bilginiz yoksa önce o konunun ne olduğunu amacını öğrenin.

Bu tür dökümanlar herzaman internette mevcuttur.

Örneğin : robots.txt dosyası google tarafından geliştirilmiş bir sistemdir. bu dökümanı google yardım sayfalarından türkçe olarakta bulabilirsiniz.

https://support.google.com/webmasters/answer/156449?hl=tr bu konuda robots.txt dosya oluşturma engelleme izin verme indexleme gibi birçok bilgi yer alıyor.

Senin yapman gereken

User-agent: bu elementin anlamı siteyi indexleyen botların adını yazmanızı sağlar eğer tüm botları seçmek istiyorsanız sonuna * imgesi koymanız yeterlidir.

Disallow: bunun anlamı ise agent tarafından seçilen botların bu Elmette yer alan klasorlari dosyaları ya da sitenin tamamını engellemesi anlamına gelir

Allow: bu ise agentten gelen botlara izin ver anlamına gelir. ve sonuna * koyduğumuz zaman tüm dosyalara erişim sağlamış oluruz.


Robots.txt dosya mantığı şu şekilde işler


Örneğin User-agent: * diyip tüm botları çektik.

Sunucuda bulunan tüm dosyaları engelleyip sadece bir dosyayı yada klasore izin vermek istersek


User-agent: *
Disallow: /
Allow: /klasor/


Şeklinde kullanılır.

Tam tersini düşünürsek sadece bir klasor yada dosyayı engellemek istersek

User-agent: *
Disallow: /klasor/
Allow: *


Şeklinde kullanılır.



Sunucunuzda bulunan bir klasor olduğunu varsayalım adı klasor olsun



User-agent: *
Disallow: /klasor/



Burada tüm botları çektik ve klasor adındaki klasoru tüm botların indexlemesini engelledik


Aynı örneği Sadece google botu engellemek için kullanırsak


User-Agent: Googlebot
Disallow: /klasor/





Allow ve Disallow u art arda da kullanabiliriz.

Klasor içindeki tüm dosyaları indexletmek

/ işareti, klasorun var olduğu anlamına gelir eğer bir dosya yada klasor seçeceksek başına / koyarız.

Eğer bu bir dosya ise /index.html deriz bu bir klasor ise klasor altında birden fazla dosya olacağı için sonuna da / koyarız

Bu mantıktan bakarsan eğer sunucumuzun tüm dosyaları sadece / işareti içerisinde kalır.


Sitemizin tüm dosyalarını botlara engellemek için


User-Agent: *
Disallow: /


Şeklinde kullanırız.

Fakat

Allow: Elementinde bu kullanım yanlıştır. keza ilk örnekte verdiğim kısmı incelersen demek istediği,mi anlarsınız.





Masa üstünde bir php dosyası çalıştırmak için apache ve phpmyadmin bulundurmanız lazım buna kısaca localhost denir.

Locahotun en basite indirgenmiş ve en kolay kullanımı ve en profesyonel olanı xampp tır.