AI Tarayıcıları (AI Crawlers) Nedir – Güncel AI Crawlers Listesi

Yapay zekâ arama motorları hızla büyürken, web sitelerinin AI görünürlüğü de SEO’nun kritik bir parçası haline geldi. Eğer AI tarayıcıları (GPTBot, ClaudeBot, PerplexityBot, Gemini vb.) sitenize erişemezse, içerikleriniz AI sonuçlarında görünmez.

Öte yandan kontrolsüz AI bot trafiği, sunucunuzu gereksiz yük altında bırakabilir veya hosting maliyetlerini artırabilir.

Bu rehberde, 2025’te kullanılan tüm önemli AI tarayıcılarını, user-agent yapılarını, hangi amaçla sitenize geldiklerini ve nasıl yönetileceğini Türkçe ve anlaşılır şekilde ele alıyoruz.

Güncel ve Doğrulanmış AI Bot Listesi

Yapay zekâ modelleri içerikleri anlamak, özetlemek, yanıt üretmek ve arama sonuçlarını güçlendirmek için milyonlarca web sayfasını tarıyor. Ancak bu tarayıcıların (AI crawlers) bir kısmı içerik eğitimi için, bir kısmı ise kullanıcı isteğiyle gerçek zamanlı tarama yapmak için çalışıyor.

2025 yılı itibarıyla en büyük platformlara ait botların tamamının doğrulanmış ve güncel user-agent listesi şu şekilde:

• GPTBot
• ChatGPT-User
• OAI-SearchBot
• ClaudeBot
• Claude-User
• Claude-SearchBot
• Google-CloudVertexBot
• Gemini-Deep-Research
• Google (AI browser, özel UA belirtmiyor)
• Bingbot
• PerplexityBot
• Perplexity-User
• meta-externalagent
• Meta-WebIndexer
• Bytespider
• Amazonbot
• DuckAssistBot
• MistralAI-User
• webzio
• Diffbot
• ICC-Crawler
• CCBot

1. OpenAI (ChatGPT) AI Botları

GPTBot

• Amaç: GPT modellerinin (ChatGPT, GPT-4o) eğitim verisini toplar.
• Kapsam: Tüm siteleri tarayabilir.
• Gerçek Bot User-Agent:
  Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.3; +https://openai.com/gptbot)
• Not: Engellersen AI eğitimine dahil olmazsın, ama ChatGPT’de görünürlük kısmi devam eder.

ChatGPT-User

• Amaç: ChatGPT kullanıcıları bir URL istediğinde gerçek zamanlı olarak sayfayı ziyaret eder.
• User-Agent:
  Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot)
• Önemli: AI görünürlüğü için mutlaka açık bırakılması önerilir.

OAI-SearchBot

• Amaç: ChatGPT’nin arama sonuçları için sayfaları indeksler (AI Search Index).
• User-Agent:
  compatible; OAI-SearchBot/1.3; +https://openai.com/searchbot
• Kritik: AI arama motorunda görünmek isteyenler için önemlidir.

2. Anthropic (Claude) AI Botları

ClaudeBot

• Amaç: Claude modellerinin eğitim verisini toplar.
• User-Agent:
  compatible; ClaudeBot/1.0; +claudebot@anthropic.com

Claude-User

• Amaç: Claude kullanıcıları bir URL talep ettiğinde gerçek zamanlı tarama yapar.
• User-Agent:
  compatible; Claude-User/1.0; +Claude-User@anthropic.com

Claude-SearchBot

• Amaç: Claude’un arama özellikleri için sayfaları indeksler.

3. Google Gemini Botları

Google-CloudVertexBot

• Amaç: Sadece site sahibi talep ettiğinde veri çeker (Vertex AI Agent Builder).
• User-Agent:
  compatible; Google-CloudVertexBot

Gemini-Deep-Research

• Amaç: Gemini’nin uzun biçimli “Deep Research” özelliği için sayfaları analiz eder.
• User-Agent:
  compatible; Gemini-Deep-Research; +https://gemini.google/overview/deep-research/

Google (AI Tarayıcı)

• Amaç: Gemini chat içinde kullanıcı bir URL istediğinde ziyaret eder.
• Not: Kendine özgü UA belirtmediği için tespiti zordur.

4. Microsoft / Bing / Copilot Botları

Bingbot

• Amaç: Hem klasik arama hem Copilot AI yanıtları için içerik tarar.
• User-Agent:
  compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm

5. Perplexity AI Botları

PerplexityBot

• Amaç: Perplexity’nin yanıt motoru için sayfaları indekler.
• User-Agent:
  compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot

Perplexity-User

• Amaç: Kullanıcının bir URL’i istemesiyle gerçek zamanlı tarama.

6. Meta (Facebook) Botları

Meta-ExternalAgent

• Amaç: Meta’nın LLaMA modelleri için eğitim verisi toplar.
• User-Agent:
  meta-externalagent/1.1

Meta-WebIndexer

• Amaç: Meta AI arama motorunu destekler.

7. Diğer Büyük AI Botları

Bytespider (ByteDance / TikTok)

LLM eğitimi için veri toplar.

Amazonbot

Alexa ve Amazon AI modellerine eğitim sağlar.

DuckAssistBot

DuckDuckGo’nun AI arama sonuçlarını güçlendirir.

MistralAI-User

Mistral’ın Le Chat asistani için gerçek zamanlı tarayıcı.

Webz.io, Diffbot, ICC-Crawler, CCBot

Genel veri madenciliği ve AI eğitim amaçlı tarayıcılar.

Önemli Not: Bazı AI Botları Asla Kendini Tanıtmıyor

Aşağıdaki botların user-agent tespiti mümkün değil:

• you.com
• ChatGPT’nin Atlas tarayıcısı
• Bing Copilot chat tarayıcısı
• Grok (X AI)

Bu botlar gerçek kullanıcı gibi davranıyor; yalnızca IP üzerinden tespit edilebiliyorlar.

AI Botlarını Nasıl Doğrular ve Sahte Botlardan Nasıl Ayırt Edersiniz?

Yapay zekâ tarayıcılarının artmasıyla birlikte, birçok kötü niyetli kişi de AI botlarının user-agent’ını taklit ederek siteleri agresif şekilde kazımaya başladı. Bu nedenle yalnızca user-agent’a bakmak yeterli değil; doğrulama kritik hale geldi.

Aşağıdaki yöntemler, bir botun gerçekten GPTBot, ClaudeBot veya PerplexityBot olup olmadığını anlamak için en güvenilir yöntemlerdir.

1. User-Agent Tek Başına Güvenilir Değildir

Herhangi biri terminalden şu komutu çalıştırabilir:

curl -A "ClaudeBot/1.0" https://example.com

Sunucu loglarında bu istek gerçek ClaudeBot gibi görünür.
Bu nedenle user-agent string tek başına asla doğrulama kriteri değildir.

2. En Güvenilir Yöntem: IP Doğrulama

Her büyük AI şirketi, botlarının kullandığı IP aralıklarını resmi olarak yayınlar.

Örnek:

• OpenAI → resmi GPTBot IP listesi
• Anthropic → ClaudeBot IP listesi
• Perplexity → PerplexityBot IP listesi
• Google / Microsoft → doğrulanabilir IP aralıkları

Yapmanız gereken:

1. Sunucu loglarını açın
2. Bot isteğini bulun
3. İstek IP’sini alın
4. Resmi IP listesiyle karşılaştırın
5. Eşleşiyorsa gerçek bot, eşleşmiyorsa sahtedir

Bu yöntem %95 doğruluk sağlar.

3. WordPress Üzerinde Kolay Doğrulama: Wordfence

Wordfence, hem IP allowlist hem de User-Agent block kuralları eklemeye izin verir.

Yapılandırma:

• Resmi AI bot IP’lerini allowlist’e ekleyin
• User-agent’ı benzer olan fakat IP eşleşmeyenleri otomatik bloklayın

Bu sayede:

• Gerçek GPTBot/ClaudeBot → geçer
• Taklit bot → bloklanır

4. Sahte Botların Tipik Özellikleri

Gerçek AI botları:

• Çok düşük hızda ve düzenli tarar
• Aynı IP bloklarından gelir
• Robots.txt kurallarına uyar

Sahte botlar:

• Çok yüksek istek atar
• Farklı ülkelerden rastgele IP’ler kullanır
• Disallow bölümlerini yok sayar

5. Bazı Botlar Hiç User-Agent Belirtmez

Aşağıdaki AI sistemleri kendini tanıtmaz, bu yüzden sadece IP ile yakalanabilir:

• you.com
• Grok (X AI)
• Bing Copilot chat
• ChatGPT Atlas tarayıcısı

Bu tarayıcılar gerçek kullanıcı gibi görünür.
Bu nedenle bu tür tarayıcıları tespit etmek için:

• Özel “tuzak sayfalar”
• IP davranış analizi
  gibi gelişmiş yöntemler gerekir.

AI Bot Trafiğini Yönetme: Engelleme, İzin Verme ve En İyi Uygulamalar

Yapay zekâ botları artık web ekosisteminin bir parçası. Ancak tüm botlara kapıyı açmak doğru olmadığı gibi, hepsini engellemek de AI görünürlüğünü tamamen yok edebilir. Bu nedenle sitelerin bir strateji belirleyerek AI bot trafiğini bilinçli şekilde yönetmesi gerekiyor.

Bu bölümde, AI botlarını yönetmek için uygulanabilecek en pratik, güvenli ve SEO uyumlu yöntemleri anlatıyorum.

1. robots.txt ile AI Botlarını Yönetme

Birçok büyük bot, robots.txt kurallarına uyar.
Bu nedenle temel kontrol mekanizması hâlâ robots.txt’dir.

Tüm AI botlarını engellemek için örnek:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Amazonbot
Disallow: /

Sadece belirli klasörleri engellemek için:

User-agent: GPTBot
Disallow: /private-folder

AI görünürlüğü isteyen siteler için tavsiye:
Mutlaka Allow: / bırakın ve sadece gerekli alanları kapatın.

2. IP Allowlist ile Sadece Gerçek Botlara İzin Verme

User-agent sahtekarlığı yaygın olduğu için, robots.txt tek başına yeterli bir güvenlik mekanizması değildir.

En güvenilir yöntem:

1. Resmi AI bot IP listelerini alın
2. Sunucu veya güvenlik duvarında allowlist oluşturun
3. Sadece bu IP’lerden gelen bot isteklerini kabul edin
4. Diğer tüm “bot taklitçilerini” bloklayın

WordPress kullanıcıları için önerilen yöntem:

• Wordfence → “Allowlist IPs” bölümüne ekleyin
• Ek olarak taklit user-agent’ları tamamen engelleyin

Bu yöntem hem güvenli hem hafif kaynak tüketir.

3. AI Bot Trafiğini Aşırı Yükten Koruma

Bazı botlar çok yoğun gelebilir.

Örnek:

• ChatGPT-User → 2400 sayfa/saat tarayabiliyor
• Bingbot → 1000+ sayfa/saat gelebilir

Eğer küçük bir hosting kullanıyorsanız bu yükü kaldırmayabilir.

Öneriler:

• Hosting tarafında rate limiting (saniyede istek sınırı) eklemek
• Cloudflare kullanıyorsanız “Bot Management” kuralları oluşturmak
• Sadece belirli saatlerde bot erişimine izin vermek (gelişmiş kurallar)

4. AI Görünürlüğü İçin En Doğru Strateji

AI sonuçlarında görünmek isteyen siteler için önerilen yapı:

• GPTBot, OAI-SearchBot → izin ver
• ClaudeBot, Claude-SearchBot → izin ver
• PerplexityBot → izin ver
• Bingbot → mutlaka izin ver
• Common Crawl (CCBot) → birçok LLM eğitimi bu veriyi kullanıyor; izin verilebilir

Bunları engellemek:

• AI sonuçlarında görünürlüğü ciddi ölçüde düşürür
• İçerik keşfedilebilirliğini azaltır

5. İçeriğini AI’dan Korumak İsteyen Siteler İçin Strateji

Tüm AI botlarını kapatmak istiyorsan en etkili yöntem:

1. robots.txt ile kapat
2. Güvenlik duvarında IP blokla
3. User-agent sahteciliklerini engelle
4. Sunucu loglarını düzenli kontrol et

Bu yöntem bile %100 koruma sağlamaz, ancak illegal scraping’i büyük ölçüde azaltır.

6. AI Browser Trafiği Neden Takip Edilemiyor?

ChatGPT Atlas, Comet gibi “agentic AI browsers” şunları yapıyor:

• Kendi user-agent’ını gizliyor
• Normal kullanıcı tarayıcısı gibi davranıyor
• IP adreslerini rotasyonla değiştiriyor

Bu tarayıcılar manuel analiz dışında tespit edilemez.

Bu da SEO raporlamasında takip zorluğu yaratıyor.

Özetle, yapay zeka ile desteklenen optimizasyon süreçleri, SEO stratejilerinin hem hızını hem de doğruluğunu önemli ölçüde artırıyor. Teknik kontrol listelerinden veri analitiğine, kullanıcı deneyimi odaklı düzenlemelerden otomasyona kadar uzanan bu yaklaşım, markaların rekabette geri kalmamasını sağlıyor.

Doğru veriyi doğru anda analiz edebilen, teknik temeli güçlü ve kullanıcı niyetini anlayan bir yapı kurulduğunda, SEO artık sadece sayfa sıralamalarını yükseltme çabası değil; sürdürülebilir bir büyüme stratejisi haline geliyor. Bu nedenle, tüm süreçlerde hem insan aklının hem de yapay zekanın en verimli şekilde bir arada kullanılması uzun vadeli başarı için kritik önem taşıyor.

Konu üzerinde daha detaylı araştırma yapmak için aşağıdaki yazıya göz atabilirsiniz: https://www.searchenginejournal.com/ai-crawler-user-agents-list/558130/