Crawl budget (feltérképezési keret)

A crawl budget (feltérképezési keret) az az erőforrás-mennyiség, amennyit a Googlebot egy adott időszakban a webhelyed bejárására fordít. Lényegében: hány oldaladat nézi meg, milyen gyakran.

Kis oldalaknál (néhány száz URL) nem kell vele foglalkozni, a Google bőven bejár mindent. Nagy webhelyeknél (tíz- vagy százezres URL, pl. nagy webshop) viszont fontos, hogy a keret a fontos oldalakra menjen, ne pazarolódjon el végtelen szűrős URL-ekre, duplikátumokra vagy hibaoldalakra. Segít: tiszta belső linkelés, canonical, sitemap, és a felesleges paraméteres oldalak kezelése.

2026-ban a Google Search Central megerősítette, hogy a crawl budget egyik legfontosabb összetevője a szerver válaszideje: ha az oldalad lassan reagál, a Googlebot kevesebbet jár be. A feltérképezési hiba (crawl error) kezelése szintén kritikus – minden 404-es vagy 500-as oldal feleslegesen fogyasztja a keretet. Az indexelés (indexing) folyamatának előfeltétele a sikeres crawl: amit a Googlebot nem ér el, az nem kerülhet be a keresési indexbe. A canonical URL (kanonikus cím) jelölés segít elkerülni, hogy a robot ugyanannak az oldalnak többféle verzióját bejárja; a duplikátumok megszüntetése közvetlenül növeli a crawl budget hatékonyságát.

Egy győri kerékpárwebshop 42 000 termékoldalt tartott fenn, amelyből 18 000 szűrő-kombinációból jött létre (szín × méret × ár). A Search Console Feltérképezési statisztikák riportja megmutatta, hogy a Googlebot napi 1 200 oldalt járt be, de ebből 900 szűrős URL volt, amelyeken nem volt egyedi tartalom. Az eredmény: a valódi termékoldalak közül csak 8 400 volt indexelve. A fejlesztő csapat robots.txt-tel kizárta a `?szin=` és `?meret=` paramétereket, canonicalt adott a szűrős oldalakhoz, és törölte a régi, eladott termékek oldalait. Három hónap alatt az indexelt termékoldalak 8 400-ról 34 500-ra nőttek, az organikus forgalom 78%-kal emelkedett.

A crawl budget a technikai SEO egyik legösszetettebb fogalma, mert több rendszert érint egyszerre. A Googlebot az, aki a crawl budgetet felhasználja: minél jobb a szerver válaszideje és a belső linkelési struktúra, annál hatékonyabban dolgozik. Az indexelés (indexing) a crawling eredménye: amit a robot bejár, azt dolgozza fel és emeli be az indexbe. A feltérképezési hiba (crawl error) pazarolja a keretet, ezért a Search Console riportjait rendszeresen érdemes ellenőrizni. A belső linkek (internal linking) struktúrája közvetlenül befolyásolja a crawl utat: a jól kialakított hierarchia segít a Googlebotnak megtalálni és prioritizálni a legfontosabb oldalakat. A query fan-out mechanizmus is jól indexelt tartalmakra épít: az AI-kereső csak azt tud felhasználni, amit a robot korábban sikeresen bejárt.

• Szűrős és paraméteres URL-ek kezelés nélkül: Egy nagyobb webshopban ezek exponenciálisan nőhetnek, és szinte az összes crawl budgetet felemésztenek. Canonical jelöléssel vagy robots.txt-tel zárj ki minden nem egyedi paraméteres oldalt.
• Hibás és törölt oldalak benn maradnak: A 404-es és 410-es oldalak pótlólagos crawl terhelést okoznak. Ha egy terméket kivezetsz, adj vissza 410-et, és frissítsd a belső linkeket.
• Sitemap tartalmaz noindex oldalakat: Ha a sitemapben szerepelnek olyanok, amiket máshol noindex-szel jelöltél, zavaros jelzést küldetsz a Googlebotnak. A sitemapbe csak indexelhető, kanonikus oldalak kerüljenek.

A crawl budget az az erőforrás, amennyit a Googlebot egy időszakban a webhelyed bejárására fordít. Kis oldalaknál nem kritikus, nagy webshopnál vagy portálnál annál inkább: ha a keret felesleges URL-ekre pazarlódik, a fontos termékoldalak indexeletlenek maradnak. Canonical, robots.txt és hibaoldalak kezelésével optimalizálhatod.