Googlebot (keresőrobot)

A Googlebot a Google automatikus keresőrobotja (crawler), amely linkről linkre haladva bejárja a web oldalait, letölti a tartalmukat, és továbbítja feldolgozásra és indexelésre. Hasonló robotjai vannak az AI-keresőknek is (pl. GPTBot, PerplexityBot).

Ha a Googlebot nem éri el vagy nem tudja értelmezni az oldaladat (pl. robots.txt blokk, vagy a tartalom csak JavaScript-futtatás után jelenik meg), akkor az nem kerül be a keresőbe. Épp ezért fontos a szerver által olvasható HTML, ezt biztosítja a Tudástár prerender-megoldása is.

A Googlebot rendszeres időközönként visszatér az oldalakra (recrawl), hogy észlelje a frissítéseket. A crawl-frekvencia függ az oldal népszerűségétől, az oldal sebességétől és a szerver teljesítményétől. 2026-ban a Google egyre inkább az indexelés minőségét helyezi előtérbe: ha sok hibás, lassú vagy blokolt oldalt talál, csökkenti a crawl-aktivitást. A robots.txt helyes beállításával jelzed, mely területeket szabad bejárni, míg a sitemapben felsorolod a legfontosabb URL-eket. A GPTBot (AI-crawler) és más AI-robotok hasonló elven működnek, de külön irányíthatók.

Egy miskolci online bútorkereskedés 4 200 termékoldalát nem lehetett megtalálni a Google-ban. A Search Console „Felfedezve – jelenleg nincs indexelve" státuszt mutatott több száz termékre. Az audit kiderítette, hogy a webshop szűrőkombinációi ~18 000 paraméteres URL-t generáltak, és ezek szinte az összes Googlebot-látogatást felszívták. A fejlesztő bevezette a `rel=canonical` jelölést a szűrt oldalakon, a felesleges paramétereket pedig kizárta a robots.txt-ből. Három hónap alatt az indexelt termékoldalak száma 1 100-ról 3 900-ra nőtt, az organikus forgalom pedig 62%-kal emelkedett. A crawl budget helyes kezelése tehát közvetlen bevételnövekedéshez vezetett.

A Googlebot működése szorosan összefügg a teljes indexelési láncal. Az indexelés (indexing) a crawling logikus folytatása: amit a Googlebot letölt, azt a Google feldolgozza és beemeli a keresési indexbe. A canonical URL (kanonikus cím) jelölés segít elkerülni, hogy a robot ugyanannak az oldalnak több verzióját bejárja és duplikátumként kezelje. Az entitás (entity) fogalma azért releváns, mert a Googlebot nemcsak HTML-szöveget gyűjt, hanem strukturált adatot is, amelyből a Knowledge Graph entitásai épülnek. A query fan-out mechanizmus is a jól indexelt oldalakra támaszkodik: az AI-kereső csak azt a tartalmat tudja felhasználni válaszgeneráláshoz, amit a Googlebot korábban sikeresen bejárt és indexelt.

• robots.txt túlzott blokkolása: Véletlenül kizársz fontos aloldalakat (pl. /termekek/), ezért azok soha nem kerülnek indexbe. Ellenőrizd a Search Console Feltérképezési lefedettség riportját.
• JavaScript-függő tartalom: Ha a főtartalom csak JS-render után jelenik meg, a Googlebot az üres HTML-t indexeli. Használj szerver oldali renderelést (SSR) vagy prerenderelést.
• Felesleges paraméteres URL-ek: Szűrők, rendezési opciók, munkamenet-azonosítók pazarolják a crawl budgetet. Canonical jelöléssel vagy robots.txt-tel zárd ki őket.

A Googlebot a Google keresőrobotja, amely linkről linkre haladva bejárja és letölti a weboldalak tartalmát az indexeléshez. Ha nem éri el az oldaladat – rossz robots.txt, lassú szerver vagy JS-függő tartalom miatt –, az nem jelenik meg a keresési eredményekben. Gondoskodj arról, hogy a fontos oldalak elérhetők legyenek a robot számára.