Arama robotları ve tüm robotlar
gönderen Bugfixed » Perşembe, Mart 16, 2006 10:41
arkadaşlar bildiğiniz üzere sitemizdeki içeriklerin tamamı arama robotlarında var. ve genelde ilk sayfada gösteriyor. ama bu iyi yönü kötü yönüne gelince geçmiş öncede kalmış cache içerikler ve alakasız şeylerle gelinmesi. Birde bilgisayarlarına trojan adware spyware keylogger ve bazı casus yazılımlar bulaşmış bilgisayarın net yönetimini robotlara kaptırmış acemi kullanıcılar var. Ben önlem olarak belirlediğim 25 kötü web robotu + 3 adet trojan barındıran toolbar (örnek: hotbar) bulaşmış kullanıcıların girişi otomatik engelledim. bunlar sayfamıza erişemiyorlar. bu kötü yazılımlar ve kötü robotların kullanıcıların bilgilerini çalmak, bilgisayar ve internet hızını yavaşlatmak dan başka zombi konumunda dırlar. ve gezilen sayfaalara ddos attack denilen saldırı yapmaktalar bunun için yukarıda belirttiğim küçük bir önlem aldım. erişemiyen bazı kişilere 403 access forbidden hatası gözükecektir.
diğer normal arama robotlarına ise komple engel koydum 1- 60 gün arasında geçmişler silinecektir. şu an google dahil tüm arama robotlarına da dün geceden itibaren geçmiş sil + gezme kodu ekledik sitemize.
robots.txt dosyamıza
- Kod: Tümünü seç
User-agent: *
Disallow: /
ekleyip anasayfamızdaki meta taglara da
- Kod: Tümünü seç
<meta name="robots" content="noindex, nofollow" />
<meta name="ROBOTS" content="NOARCHIVE" />
bu kodu ekledik. Umarım düşündüğümüz şekilde sürer.
En son
Bugfixed tarafından Perşembe, Mart 16, 2006 10:53 tarihinde düzenlendi, toplamda 1 kere düzenlendi.
Beklediklerim kalır uçan uçurumlarda..
.Terazinin Hüznü.