GPTBot és az AI-crawlerek

A GPTBot az OpenAI keresőrobotja, amely a webet bejárva gyűjt tartalmat az AI-modellek és a ChatGPT keresés számára. Hasonló robotjai vannak a többi AI-cégnek is: PerplexityBot (Perplexity), Google-Extended (Gemini/AI), ClaudeBot (Anthropic).

Ha a célod, hogy az AI-keresők idézzenek (GEO), akkor engedd be ezeket a robotokat a robots.txt-ben, különben a tartalmad láthatatlan marad számukra. (Egyes kiadók szerzői jogi okból tiltják őket; ez stratégiai döntés.) A Publicator Tudástár robots.txt-je kifejezetten engedélyezi az AI-crawlereket.

2026-ban az AI-crawlerek engedélyezése stratégiai alapkérdés. A GPTBot a ChatGPT keresési funkcióhoz gyűjt adatot, a PerplexityBot a Perplexity.ai válaszaihoz, a Google-Extended a Gemini AI-hoz és az AI Overviewshoz, a ClaudeBot az Anthropic Claude-hoz. Ha ezek mindegyike elérheti az oldalad, a tartalmad potenciálisan négy különböző AI-platformon is megjelenhet forrásként. A blokkolás következménye: az AI-rendszer soha nem tanulja meg, hogy létezik a tartalmad — az AI-láthatóság nulla marad. Fontos tudni, hogy az AI-crawlerek bejárása nem jelent automatikusan indexelést vagy idézést: a tartalom minősége, struktúrája és relevanciája dönt. A Robots.txt fájlban az egyes botokat külön-külön engedélyezheted vagy tilthatod, ha pl. az egyik platformmal szerzői jogi megállapodásod van.

Egy debreceni informatikai tanácsadó cég 2026 januárjában megvizsgálta a robots.txt fájlját, és azt találta, hogy a rendszergazda korábban blokkolta a GPTBotot és a PerplexityBotot, mert „ismeretlen, gyanús botnak" ítélte őket. Ennek következtében a cég egyetlen cikke sem jelent meg a ChatGPT keresési eredményeiben. Az audit után feloldották a tiltást, és bevezették a llms.txt fájlt a webhely gyökerében, amelyben tömören leírták a legfontosabb szolgáltatásaikat és cikkeiket. Két hónap elteltével 6 szakmai kérdésnél jelent meg a cég neve forrásként a Perplexity válaszaiban. A tanulság: a robots.txt egyetlen Disallow sora megakadályozhatja az összes AI-láthatóságot — érdemes rendszeresen ellenőrizni.

A GPTBot és az AI-crawlerek megértése szorosan kötődik a technikai SEO és a GEO több kulcsfogalmához. A Robots.txt az elsődleges eszköz az AI-crawlerek kezelésére: itt döntheted el, melyik botnak engedsz hozzáférést. A Query fan-out technikával az AI-rendszerek egy kérdésből több al-keresést futtatnak és széles forráskört vonnak be — ehhez sok strukturált, bejárható tartalomra van szükség. A Entitás (entity) fogalma szintén kapcsolódik: az AI-rendszerek entitásokat (személyek, cégek, fogalmak) azonosítanak a tartalomban, és ezeket beépítik a tudásbázisukba. A Schema.org / strukturált adat segít az AI-crawlereknek értelmezni, miről szól az oldal — a FAQ schema különösen hasznos, mert kérdés-válasz párokba rendezi a tartalmat. 2026-ban az AI-crawlerek engedélyezése és a strukturált adat együttesen adja a legjobb AI-láthatóságot.

• Összes AI-crawler blokkolása robots.txt-ben: Sok cég a biztonsági beállítások részeként blokkol minden ismeretlen botot — ezzel véletlenül az összes AI-crawlert is kizárja. Az AI-láthatóság alapfeltétele, hogy a GPTBot, PerplexityBot és Google-Extended be tudja járni az oldalt.
• Tartalom engedélyezése, de gyenge struktúra: Az AI-crawler be tud lépni, de a tartalom strukturálatlan, nincsenek FAQ-k, answer capsule-ok vagy schema jelölések — az AI nem tudja kiemelni forrásként. A bejárás engedélyezése szükséges, de önmagában nem elégséges feltétel.
• Figyelmen kívül hagyott bot-forgalom az analitikában: Ha az AI-crawlerek forgalmát nem különíted el a Google Analytics vagy Search Console adatokban, nem látod, melyik bot jár hozzád és milyen tartalmat indexel. 2026-ban érdemes a szerverlognaplókat rendszeresen elemezni.

A GPTBot (és a hasonló PerplexityBot, Google-Extended, ClaudeBot) AI-crawlerek bejárják a webet, hogy az AI-keresők forrásaihoz tartalmat gyűjtsenek. 2026-ban az AI-láthatóság alapfeltétele, hogy ezeket a robotokat engedélyezd a robots.txt-ben, és jól strukturált, tömör, idézhető tartalmat biztosíts számukra.