Analitik aracınız ayda beş bin ziyaretçi gösteriyor ama sunucu logları bunun çok üzerinde istek kaydediyor. Kaynak limitine takılıyorsunuz ve nedenini anlayamıyorsunuz.
Aradaki fark genellikle bot trafiğidir. Bu yazı, hosting hesabınızda bot trafiğini tespit etmeyi ve yönetmeyi anlatıyor.
Bot Türleri
| Tür | Amacı | Nasıl davranmalı |
|---|---|---|
| Arama motoru botları | İçeriğinizi indekslemek | İzin verin, hızını yönetin |
| Sosyal medya botları | Paylaşım önizlemesi | İzin verin |
| SEO analiz botları | Rakip analizi, veri toplama | Sınırlayın veya engelleyin |
| İçerik kopyalayıcılar | İçeriğinizi almak | Engelleyin |
| Güvenlik açığı tarayıcıları | Zafiyet aramak | Engelleyin |
| Spam botları | Form ve yorum spam'i | Engelleyin |
Kritik ayrım şudur: tüm botları engellemek isteyeceğiniz son şeydir. Arama motoru botlarını engellemek, sitenizi arama sonuçlarından çıkarır. Amaç ayrım yapmaktır — faydalı olanlara izin vermek, zararlı olanları elemek.
Bot Trafiğini Tespit Etmek
Analitik araçları çoğu botu filtreler; bu yüzden gerçek yükü görmek için sunucu loglarına bakmanız gerekir.
Bakılacaklar:
- Toplam istek sayısı ile ziyaretçi sayısını karşılaştırın. Aradaki büyük fark bot trafiğidir.
- En çok istek yapan adresleri listeleyin. Tek bir adresten binlerce istek geliyorsa şüphelidir.
- İstemci tanıtım bilgisine bakın. Botlar genellikle kendilerini tanıtır.
- İstek desenlerini inceleyin. Saniyeler arayla sıralı sayfa istekleri, insan davranışı değildir.
- İstenen yollara bakın. Sitenizde olmayan yönetim panelleri deneniyorsa, bu bir zafiyet taramasıdır.
Beşinci madde çoğu sitede günde yüzlerce kez görülür: var olmayan yönetim adresleri ve yapılandırma dosyaları denenir. Bu istekler 404 döndürür ama yine de kaynak tüketir.
robots.txt: İlk Katman ama Yetersiz
Bu dosya, uyumlu botlara nereleri taramamaları gerektiğini bildirir. İki önemli sınırı vardır:
- Yalnızca uyumlu botlar dikkate alır. Zararlı botlar bu dosyayı görmezden gelir — hatta bazıları hangi dizinleri gizlediğinizi öğrenmek için okur.
- Kaynak tüketimini engellemez. Bot dosyayı okur, kuralları uygular ama isteği yine de sunucunuza ulaşmıştır.
Yine de faydalıdır ve doğru kullanılmalıdır. Özellikle tarama bütçesini yönetmek için:
- Filtreleme ve sıralama adreslerini taratmayın
- Site içi arama sonuç sayfalarını hariç tutun
- Yönetim ve sepet sayfalarını dışarıda bırakın
- Site haritası konumunu belirtin
Tarama Hızını Yönetmek
Arama motoru botlarını engellemek istemezsiniz ama hızlarını yönetebilirsiniz.
Bir bot sitenizi çok hızlı tararsa sunucunuz yavaşlar. Bu durumda:
- Arama motoru araçlarından tarama hızını ayarlayın. Büyük arama motorları bu ayarı sunar.
- Site haritanızı düzenleyin. Doğru öncelikler, botun gereksiz sayfaları taramasını azaltır.
- Gereksiz adres varyantlarını azaltın. Her filtre kombinasyonu ayrı bir adres üretiyorsa tarama bütçeniz boşa gider.
Üçüncü madde e-ticaret sitelerinde büyük fark yaratır: filtreleme parametreleri sınırsız sayıda adres kombinasyonu üretebilir ve bot bunların hepsini taramaya çalışır.
Zararlı Botları Engellemek
Uyumlu olmayan botlar için daha güçlü yöntemler gerekir:
Hız Sınırlama
Belirli bir sürede belirli sayıdan fazla istek yapan adresleri geçici olarak engellemek, en etkili genel önlemdir. Gerçek kullanıcıları etkilemez çünkü hiçbir insan saniyede onlarca sayfa açmaz.
İstemci Tanıtımına Göre Engelleme
Bilinen zararlı bot tanıtımlarını yapılandırma dosyanızdan engelleyebilirsiniz. Sınırı: bot tanıtımını değiştirebilir. Yine de birçok basit botu eler.
Adres Bazlı Engelleme
Sürekli sorun çıkaran adresleri veya ağ bloklarını engellemek. Sınırı: adres değiştirilebilir.
Form Koruması
Spam botlarına karşı en etkili yöntem, formlarınızı korumaktır. Görsel doğrulama veya gizli alan yöntemi, otomatik gönderimleri büyük ölçüde eler.
Güvenlik Katmanı Kullanmak
Sitenizin önüne yerleştirilen bir koruma katmanı, zararlı trafiği sunucunuza hiç ulaşmadan eler. Bu, kaynak tasarrufu açısından en etkili yöntemdir çünkü engelleme sunucunuzda değil, öncesinde yapılır.
Dikkat Edilecekler
- Arama motoru botlarını yanlışlıkla engellemeyin. Agresif bir kural, indekslenmenizi durdurabilir.
- Sahte tanıtımlara dikkat edin. Bazı zararlı botlar kendini arama motoru botu gibi tanıtır; şüpheliyse adresin gerçekten o arama motoruna ait olduğunu doğrulayın.
- Engellemeleri belgeleyin. Aylar sonra "neden bu adres engelli" sorusuna cevabınız olsun.
- Etkisini ölçün. Engelleme sonrası kaynak kullanımınız gerçekten düştü mü?
İkinci madde önemli bir kontroldür: kendini arama motoru botu olarak tanıtan her istek gerçek değildir. Şüpheli durumlarda adresin doğruluğunu kontrol edin.
Denge Kurmak
Bot yönetiminde aşırıya kaçmak da bir risktir. Sağlıklı bir yaklaşım:
- Önce ölçün. Bot trafiği gerçekten sorun mu, yoksa kaynak sorunu başka yerde mi?
- En büyük tüketicilerden başlayın. Tüm botları değil, en çok yük üretenleri hedefleyin.
- Genel hız sınırıyla başlayın. Tek tek engelleme yerine, aşırı hızlı istekleri sınırlayın.
- Sonucu izleyin. Kaynak kullanımı düştü mü, arama görünürlüğü etkilendi mi?
Birinci madde atlanmamalıdır: kaynak sorununuz optimize edilmemiş bir sorgudan kaynaklanıyorsa, bot engellemek sorunu çözmez. Bot trafiği gerçekten önemli bir pay tutuyorsa müdahale edin; tutmuyorsa asıl nedene bakın.
Bot trafiği kontrol altına alındıktan sonra bile limitlere takılıyorsanız, sorun kapasitedir. Daha yüksek kaynak limitleri sunan bir hosting paketi bu noktada gerekli hâle gelir.
Sonuç
Analitik verinizle sunucu logunuz arasındaki fark, genellikle bot trafiğidir — ve bazı sitelerde toplam isteklerin şaşırtıcı bir kısmını oluşturur. Ancak amaç tüm botları engellemek değildir: arama motoru botlarını engellemek sitenizi arama sonuçlarından çıkarır. Ayrım yapın. En etkili ve en az riskli genel önlem, tek tek engelleme yerine hız sınırlaması uygulamaktır — hiçbir gerçek kullanıcı saniyede onlarca sayfa açmaz. Ve müdahaleden önce ölçün; kaynak sorununuz optimize edilmemiş bir sorgudan kaynaklanıyorsa bot engellemek işe yaramaz.
Sıkça Sorulan Sorular (SSS)
Analitik ile sunucu logu neden farklı sayı gösteriyor?
Analitik araçları çoğu botu filtreler ve yalnızca gerçek ziyaretçileri sayar; sunucu logu ise her isteği kaydeder. Aradaki fark bot trafiğidir ve kaynak tüketimi açısından asıl belirleyici olan sunucu logudur.
Tüm botları engellemeli miyim?
Kesinlikle hayır. Arama motoru botlarını engellemek sitenizi arama sonuçlarından çıkarır; sosyal medya botlarını engellemek paylaşım önizlemelerini bozar. Amaç ayrım yapmaktır: faydalı olanlara izin verin, zararlı olanları eleyin.
robots.txt bot trafiğini engeller mi?
Kaynak tüketimini engellemez. Bot dosyayı okur ve kuralları uygular ama isteği zaten sunucunuza ulaşmıştır. Ayrıca yalnızca uyumlu botlar dikkate alır — zararlı botlar görmezden gelir. Gerçek engelleme için hız sınırlama veya sitenin önünde bir koruma katmanı gerekir.
Hız sınırlaması gerçek kullanıcıları etkiler mi?
Doğru ayarlandığında hayır. Hiçbir insan saniyede onlarca sayfa açmaz. Eşiği makul tutarsanız yalnızca otomatik araçlar takılır. Yine de uygulamadan sonra kaynak kullanımınızı ve arama görünürlüğünüzü izleyin.
