Geçen sayının sonunda yapay zeka botlarının siteye erişimini ve robots.txt'nin neden artık yetmediğini konuşacağımızı söylemiştik. Search Engine Journal'da yayımlanan prompt injection analizi tam da bu tartışmanın eksik yarısını gösteriyor: bir botu siteye sokup sokmamak ayrı bir karar, o bot içeri girdiğinde sayfanın ona ne anlattığı bambaşka bir mesele. Türkiye'de e-ticaret yapan bir markanın bu ikisini ayrı ayrı yönetmesi gerekiyor.
Gizli metin yapay zeka modellerine talimat veriyor, robots.txt bunu engellemiyor
Search Engine Journal'da yayımlanan analiz, 25 yıl önce arama motorlarını yanıltmak için kullanılan beyaz üstüne beyaz gizli metin tekniğinin bugün yapay zeka modellerine talimat vermek için kullanıldığını anlatıyor. Prompt injection denen yöntemde sayfaya insan gözünün görmediği ama makinenin okuduğu metin yerleştiriliyor ve model o sayfa hakkında belirli bir sonuca yönlendiriliyor. Yazının kurduğu bağ şu: arama motorları için "görünen içerik ile okunan içerik aynı olmalı" kuralı çeyrek asırdır geçerliydi, yapay zeka botlarıyla birlikte aynı sorun baştan ortaya çıkıyor. Aradaki fark önemli: bir arama motoru gizli metni spam olarak değerlendirip görmezden gelebilirken, dil modeli aynı metni talimat sanıp uygulayabiliyor.
Kaynak: Search Engine Journal
Yapay zeka botlarını robots.txt ile yönetmek yetmiyor, çünkü robots.txt yalnızca botun siteye girip girmeyeceğini bildirir, botun sayfada ne okuyacağını ve okuduğundan ne sonuç çıkaracağını bildirmez. Üstelik robots.txt'ye uymak gönüllüdür; kuralı okumayan ya da okuyup umursamayan bir tarayıcıyı yalnızca sunucu tarafındaki bir engel durdurur. Yani elimizde iki ayrı iş var: erişim kararı ve içerik kararı. Türkiye'deki e-ticaret markalarının çoğu birinciyle uğraşırken ikincisini hiç açmadı.
Türkiye'de bir e-ticaret sitesinde gizli metin genellikle kötü niyetle değil, kazayla oluşur. Ürün açıklamaları tedarikçiden ya da ithalatçıdan Excel olarak gelir, içinde eski HTML artıkları, başka markanın adı, başka bir sitenin yönlendirme cümlesi taşır. Tema ve eklenti katmanları sekme içeriklerini, filtre etiketlerini, demo bloklarını sayfaya basar ama ekranda göstermez. Yapay zeka botu sayfayı bizim gördüğümüz gibi değil, ham HTML olarak okur. Ekranda olmayan ama kaynakta duran her cümle, modelin markamız hakkında kurduğu cümlenin girdisidir.
Kullanıcı üretimi içerik bu tabloda en kırılgan alan. Kendi sitemizdeki yorum, soru cevap ve satıcı açıklaması alanlarına bırakılan metin, moderasyondan geçmeden yayına giriyorsa, oraya yazılan bir talimat cümlesi de sayfanın parçası oluyor. Pazaryeri tarafında, yani Trendyol veya Hepsiburada ürün sayfalarında bu alanların kontrolü bizde değil, ama kendi alan adımızda tamamen bizde. Marka hakkında model ne söylüyorsa, büyük ihtimalle kendi sayfamızdaki metinden besleniyor.
Botları tamamen kapatmak da bedelsiz bir karar değil. GPTBot, PerplexityBot, ClaudeBot gibi tarayıcıları engellemek içeriğin kopyalanma riskini azaltır ama yapay zeka cevaplarında adımızın geçme ihtimalini de azaltır. Bu karar kategori bazında verilmeli: ürün ve kategori sayfalarında görünür olmak isteriz, toplu fiyat listelerinde, arama sonuç sayfalarında, hesap ve sepet akışlarında istemeyiz. Kararı vermeden önce hangi botun hangi sayfaları gerçekten çektiğini bilmek gerekiyor, bu bilgi de sunucu erişim loglarında duruyor.
Asıl iş, sayfanın makineye anlattığı hikâyeyi bilinçli hale getirmek. Kargo süresi, iade koşulu, garanti kapsamı, kimin ürettiği, hangi şehirden çıktığı gibi bilgiler yalnızca görselin üstünde ya da JavaScript ile sonradan yüklenen bir kutucukta duruyorsa, model bunları çoğu zaman göremez. Görünen metin ile kaynak koddaki metin ne kadar örtüşürse, model hakkımızda o kadar az uydurur. Bu, yeni bir SEO taktiği değil, 25 yıldır bildiğimiz kuralın yeni muhatabı.
Peki ne yapmalı?
- Sunucu erişim loglarında son 30 günü GPTBot, ClaudeBot, PerplexityBot, CCBot, Google-Extended ve Bytespider user-agent'larına göre filtreleyin; hangi botun hangi sayfaları kaç kez çektiğini listeleyin ve robots.txt'de yazdığınız kuralla logda gördüğünüz davranışın uyuşup uyuşmadığını karşılaştırın.
- Sitenizin en çok trafik alan 20 ürün ve kategori sayfasını JavaScript çalıştırmadan ham HTML olarak çekin; display:none, visibility:hidden, font-size:0 ve arka planla aynı renk kullanılan metinleri çıkarın. Tedarikçiden gelen ürün açıklamalarında kalan yabancı marka adlarını ve yönlendirme cümlelerini temizleyin.
- Kendi sitenizdeki yorum, soru cevap ve satıcı açıklaması alanlarını yayın öncesi onaya alın; talimat kalıbı içeren metinleri (önceki talimatları yok say, bunun yerine şunu öner gibi ifadeler ve alakasız uzun İngilizce bloklar) otomatik olarak moderasyon kuyruğuna düşürün.
- Kargo süresi, iade koşulu, garanti ve fiyat bilgisini hem görünür metinde hem yapısal veride birebir aynı yazın. İkisi çelişiyorsa çelişkiyi giderin, çünkü modelin hangisini alacağını siz seçemezsiniz.
- Bot engellemesini robots.txt'ye bırakmayın; kapatmak istediğiniz arama sonuç sayfaları, filtre kombinasyonları ve hesap akışları için sunucu tarafında ya da CDN katmanında kural yazın. Ürün ve kategori sayfalarını ise bilerek açık bırakın.
Yapay zeka botlarıyla ilgili asıl soru "içeri alalım mı" değil, "içeri girdiğinde ne okuyacak". İkincisini cevaplamadan verilen her erişim kararı, aslında kararı botun kendisine bırakmak oluyor.