1. sayfa
Arama motorları, belki de sitenizin ziyaretçilerinin büyük bir bölümü onlar sayesinde sizi buluyorlar ve takip etmeye başlıyorlar. Bazen arama motorlarına sitenizi siz kaydetmek için başvuruyorsunuz, bazen de arama motorları Robot veya Bot denilen uygulamalarla sizin sitenizi buluyorlar. Bu bulma işleminde ise sitenizde bulunan her linki özenle tarayıp kendi veritabanlarına kaydediyorlar. Bu sayede arama sonuçlarında sitenizde ne var ne yok ziyaretçileriniz öğrenebiliyor, bulabiliyor. Ancak bazı durumlarda sitenizi indeksleyen bu robotlara hükmetmek isteyebilirsiniz: Parola koruması olmayan fakat çoğu kişinin de görmesini istemeyeceğiniz bir sayfanız olabilir, Bazı sayfalarınızdaki programların ve içerik sayılamayacak bilgilerin (cgi-bin dizini gibi) taranmasını istemeyebilirsiniz, Ya da sadece fazla bandwidth kaybetmek istemeyip taramanın yapılmamasını isteyebilirsiniz. Bu gibi durumlarda robotlara hükmetmek için elinizde bir fırsat bulunuyor: robots.txt dosyası. Bu dosya sitenizin ana dizininde bulunur ve arama motorlarının gönderdikleri robotlara bazı komutlar verir. Örneğin bu dosyadaki bir satır ilewww.siteniz.com/gizli adresinin arama motorlarında çıkmamasını sağlayabilirsiniz. Sitenize ftp ile bağlandığınızda eğer robots.txt adında bir dosya yoksa bunu siz de oluşturabilirsiniz. Eğer böyle bir dosya yoksa her robot tüm site içeriğini indeksleyecektir. Basit olarak robots.txt dosyasının içinde şu iki satır bulunur: User-agent: *Disallow: / Burada User-agent: satırı ve sonrasında gelen * işareti "Tüm robotlara alttaki komutu uygula" anlamına gelmektedir. Disallow: ise Türkçe karşılığıyla "İzin verme" demek olup, akabinde gelen / işaretiyle "tüm site içeriğini indeksleme" komutuna karşılık gelir. Örnek olarak Google arama motorundan gelecek robotun, bizim sitemizdeki /gizli_bilgiler klasöründeki hiçbir içeriği taramamasını istiyoruz. Bunun için kullanmamız gereken komut satırı: User-agent: Googlebot Disallow: /gizli_bilgiler/ olacaktır. /gizli_bilgiler/ yazmamızdaki neden ise baştaki / işareti kök dizini, sondaki / işaret ise gizli_bilgilerin bir dizin olduğunu vurgulamak içindir. Eğer siz sadece bir dosyayı indeksletmemek isterseniz, Disallow: /gizli_dosya.html satırını da kullanabilirsiniz. robots.txt dosyası hakkında daha fazla bilgiyihttp://www.robotstxt.org adresinden alabilirsiniz. http://www.robotstxt.org/wc/active.html adresinden de şuan için bilinen tüm robotların isimlerine ulaşabilir, az önceki örnekte yaptığımız gibi sadece bazı robotların bazı sayfalara ulaşamamasını sağlayabilirsiniz. ALINTIDIR Ayrıca bu sayfayıda inceleyebilirsin www.google.com/robots.txt |
Çok fazla ayrıntıya girmeden şöyle bir şey her site için ideal; User-agent: Emailcollector Disallow: / User-agent: * allow: / Mail toplayıcılarını kesiyor onun dışında tüm siteyi indexliyor tabi sitede indexlenmemesini istediğin yer varsa bu şekilde engelleyebilirsin. |
alıntı ve cvp.lar için çok teşekkürler bir de diğer sorduklarımı biliyorsanız cvp.larsanız çok sevinirim. ellerinize kollarınıza mouse'unuza ve klavyenize sağlık |
whois.sc sitesi: Genelde hackerlerin kullandıkları bir sitedir. Nedenine gelince.. bazı domain sitelerinde site ismini yazdıgın zaman sana o site ile alaklı bilgiler verir. Whois.Sc ise (Tabiki önce kayıt yapman lazım mail adresinle) Bilgisayarın Başlat kısmından Çalıştır bölümüne giriyorsun CMD yazıp entere basıyorsun. karşına bir komut sistemi açılıyor. oraya örnegin "pingwww.siteadı.com" diye yazıp enterliyorsun tırnaksız şekilde ping attıgın sitenin hangi makinada oldugunu ve ip adresini veriyor whois scye girip bu ip adresiyle tarama yapınca o Serverde kurulu kac tane host varsa hepsini önüne diziyor. örnegin Turkticaret netin bir zamanlar bi serverinde 1400 üzeri site kaydı çıkarıyordu |
vay anam vay vay vay...... sağolasın. ellerine sağlık. şimdi de cvp.lamak isteyenler için yeni soru: /favicon.ico nedir????? |
favicon.ico bu bişey değildir. favicon dosyanın adı .ico uzantısıda bi resim dosyası türüdür gif gibi düşün .ico uzantılı bi icon bulup internet sayfana koduyla ekledigin zaman sayfanın adres kısmının basında o icon gözükür bende gözükmüyor o başka mesele: ))) |
cvp için tşk. bi de adresi versen de incelesek ayıp olur mu |
stats soruna yanıt.. alanından şifre koruması kısmını işaretlediysen dışarıdan göremezler. kullanıcı adı ve şifre ister. ama şifresizse görülebilir. peki neden başkalarının web istatistiklerine bakarlar? memleket ilginç insanlarla dolu napıcaksın ! :) |
robots.txt ile favicon.ico yu koydum siteme. bu arada favicon'u yapmak için http://users.pandora.be/liontech/IconShop.zip adresinden icon shop 1.13 programını indirip açın .jpg ya da .bmp gibi kayıtlı olan resmi içine atın ve export deyip icon'u seçin. favicon'unuz hazır ancak bir de ikonu index.html'nin olduğu yere atmayı unutmayın ayrıca bu ikonun gözükmesini istediğiniz her sayfaya aşağıdaki kodu yazmayı unutmayın. http://www.accessfp.net/faviconico.htm not: kaynak: http://www.accessfp.net/faviconico.htm |
kod çıkmadı, şöyle olacaktı: head tag'ının altına <link REL="SHORTCUT ICON" HREF="http://accessfp.net/favicon.ico"> reklamı silersek de <link REL="SHORTCUT ICON"> şeklinde olacak |
1. sayfa
1. olmadığı halde /robots.txt 'yi tıklayanlar
2. /stats kısmına bakanlar
3.www.whois.sc/ adresinden bana yönlenenler
/robots.txt nedir ne işe yarar? arama motorlarının robotları öncelikle buraya mı bakar? böyle bir şey oluşturmalı mıyım? faydası var mıdır? (gelen request/isteklere bakarsak bu kadar kişinin rastlantısal olarak olmayan bir yere bakmaları imkansız)
/stats kısmı bildiğim kadarıyla siteyle ilgili istatistiklerin tutulduğu yer ama neden başkaları bu kısma bakmak ister ve kullanıcı adı ile parola isteyen bu kısma bilmediği halde bakabilir mi? yani bu kısım bir güvenlik açığı yaratabilir mi?
whois.sc adresi hangi adresin kimin adına kayıtlı olduğunu gösteren bir site (ya da öyle bir şey) siteye baktığımda -sitede kendi adresimi yazdığımda- çok rahat bilgilere ulaşabiliyorum bunu engelleyebilir miyim? ayrıca bu site ne işe yarar? buradaki bilgiler herhangi bir şekilde hack vs. için kullanılabilir mi?
cvplarsanız çok sevinirim.