İçeriğe geç
zefıly

robots.txt oluşturucu ve yapay zeka kuralları

Tarayıcıların gidebileceği ya da gidemeyeceği yolları yazın, site haritanızı ekleyin ve engellemek istediğiniz yapay zeka tarayıcılarını işaretleyin. Dosya tarayıcınızda üretilir; robots.txt olarak kopyalayabilir ya da indirebilirsiniz.

Yapay zeka tarayıcılarını engelle

Her belirteç tüm site için engellenir. Yalnızca istediklerinizi işaretleyin.

robots.txt

    

Tarayıcınızda çalışır. Buraya yazdıklarınız Zefily'ye gönderilmez ve saklanmaz.

Nasıl kullanılır

  1. 1

    İzin verilecek ya da yasaklanacak yolları her satıra bir tane gelecek şekilde, eğik çizgiyle başlayarak yazın, örneğin /admin/.

  2. 2

    Site haritanızın tam adresini ekleyin ve engellemek istediğiniz yapay zeka tarayıcılarını işaretleyin.

  3. 3

    Dosyayı kopyalayın ya da indirin ve sitenizin köküne yükleyin; /robots.txt adresinde açılmalıdır.

Sorular

robots.txt dosyası nereye konmalı?

Sunucunun kök dizinine; https://example.com/robots.txt adresinde açılacak şekilde. Bir alt klasördeki robots.txt dosyasını tarayıcılar dikkate almaz.

robots.txt bir sayfayı arama sonuçlarından çıkarır mı?

Hayır. Tarayıcılardan bir yolu getirmemelerini ister. Bir sayfayı arama sonuçlarından çıkarmak için noindex robots meta etiketi ya da X-Robots-Tag başlığı kullanın. robots.txt ile engellenen bir sayfa noindex etiketini göremez; sayfanın kaldırılmasını istiyorsanız engellemeyin.

GPTBot ya da ClaudeBot engellemek, sitemi alıntılayan yapay zeka yanıtlarını durdurur mu?

Her yapay zeka şirketi kendi tarayıcı belirteçlerini belgeler. Bazıları model eğitimi, bazıları arama ya da kullanıcının isteği içindir. Seçtiğiniz belirteçleri engelleyin ve hangisinin ne için kullanıldığını her şirketin tarayıcı belgesinden okuyun.

Google-Extended, Googlebot ile aynı mı?

Hayır. Googlebot sayfalarınızı Google Arama için dizinlemeye devam eder. Google-Extended ayrı bir belirteçtir ve içeriğinizin Google yapay zeka modellerinin eğitiminde kullanılıp kullanılmayacağını denetler; Google bunu tarayıcı belgesinde açıklar.

Bunu sunucularınızda Zefily sizin yerinize yapar

Bir sunucu bağlayın; Zefily siteleriniz için cron işlerini, izinleri, yönlendirmeleri, PHP havuzlarını ve robots kurallarını kurar ve yönetir.

Ücretsiz başla

Muhteşem Kasım · Siber Pazartesi

Gitmeden önce: ömürlük paketler indirimde

Ömürlük paketi bir kez ödeyin ya da yıllık paketlerin ilk yılında %30 indirim alın.

Paket başına yalnızca 100 ömürlük paket satılır. Bitince biter.

Kampanyayı inceleyin

Muhteşem Kasım

Kampanyayı inceleyin →