robots.txt oluşturucu ve yapay zeka kuralları
Tarayıcıların gidebileceği ya da gidemeyeceği yolları yazın, site haritanızı ekleyin ve engellemek istediğiniz yapay zeka tarayıcılarını işaretleyin. Dosya tarayıcınızda üretilir; robots.txt olarak kopyalayabilir ya da indirebilirsiniz.
Tarayıcınızda çalışır. Buraya yazdıklarınız Zefily'ye gönderilmez ve saklanmaz.
Nasıl kullanılır
-
1
İzin verilecek ya da yasaklanacak yolları her satıra bir tane gelecek şekilde, eğik çizgiyle başlayarak yazın, örneğin /admin/.
-
2
Site haritanızın tam adresini ekleyin ve engellemek istediğiniz yapay zeka tarayıcılarını işaretleyin.
-
3
Dosyayı kopyalayın ya da indirin ve sitenizin köküne yükleyin; /robots.txt adresinde açılmalıdır.
Sorular
robots.txt dosyası nereye konmalı?
Sunucunun kök dizinine; https://example.com/robots.txt adresinde açılacak şekilde. Bir alt klasördeki robots.txt dosyasını tarayıcılar dikkate almaz.
robots.txt bir sayfayı arama sonuçlarından çıkarır mı?
Hayır. Tarayıcılardan bir yolu getirmemelerini ister. Bir sayfayı arama sonuçlarından çıkarmak için noindex robots meta etiketi ya da X-Robots-Tag başlığı kullanın. robots.txt ile engellenen bir sayfa noindex etiketini göremez; sayfanın kaldırılmasını istiyorsanız engellemeyin.
GPTBot ya da ClaudeBot engellemek, sitemi alıntılayan yapay zeka yanıtlarını durdurur mu?
Her yapay zeka şirketi kendi tarayıcı belirteçlerini belgeler. Bazıları model eğitimi, bazıları arama ya da kullanıcının isteği içindir. Seçtiğiniz belirteçleri engelleyin ve hangisinin ne için kullanıldığını her şirketin tarayıcı belgesinden okuyun.
Google-Extended, Googlebot ile aynı mı?
Hayır. Googlebot sayfalarınızı Google Arama için dizinlemeye devam eder. Google-Extended ayrı bir belirteçtir ve içeriğinizin Google yapay zeka modellerinin eğitiminde kullanılıp kullanılmayacağını denetler; Google bunu tarayıcı belgesinde açıklar.
İlgili rehberler
Bunu sunucularınızda Zefily sizin yerinize yapar
Bir sunucu bağlayın; Zefily siteleriniz için cron işlerini, izinleri, yönlendirmeleri, PHP havuzlarını ve robots kurallarını kurar ve yönetir.