Robots.txt

A robots.txt egy egyszerű szövegfájl a weboldalad gyökérkönyvtárában (pl. publicator.ai/robots.txt), amely megmondja a keresőrobotoknak (Googlebot, GPTBot stb.), hogy mely részeket járhatják be és melyeket ne.

A robots.txt erős, de veszélyes eszköz: egyetlen rossz sorral akár a teljes oldaladat kizárhatod a Google elől. Gyakori jó használat: az admin- és kosároldalak kizárása, valamint a sitemap helyének megadása.

Fontos: a robots.txt a bejárást tiltja, nem az indexelést, egy tiltott, de máshonnan linkelt oldal még megjelenhet. Az indexelés tiltására a „noindex” való.

2026-ban a robots.txt új szerepet kapott: az AI-crawlerek (pl. GPTBot, ClaudeBot, Googlebot-Extended) külön direktívákkal szabályozhatók. Ha nem szeretnéd, hogy az OpenAI tanítóadatként használja a tartalmaid, a robots.txt-ben GPTBot (AI-crawler)-t disallow-olhatod. A llms.txt fájl a robots.txt AI-kiegészítője: emberolvasható formátumban magyarázza el az AI-rendszereknek, hogy mit és hogyan szabad felhasználni. A Googlebot (keresőrobot) és az AI-crawlerek eltérően reagálnak a robots.txt szabályaira, ezért érdemes mindkét irányból ellenőrizni a beállításokat. A X-Robots-Tag HTTP-fejléc a robots.txt alternatívája nem HTML erőforrásoknál (pl. PDF-ek, képek). A canonical URL és a robots.txt együttes használatával pontosan meghatározhatod, mely URL-eket szeretnéd indexeltetni.

Egy miskolci e-kereskedelmi cég WooCommerce-alapú webshopot üzemeltet 2 200 termékkel. A fejlesztő áttekintette a robots.txt fájlt, és megdöbbentő hibát talált: a „Disallow: /wp-admin/” sor helyett véletlenül „Disallow: /” került be egy frissítés során, ami az összes oldalt blokkolta a Googlebot elől. A keresési forgalom 3 nap alatt 94%-kal esett vissza. A Google Search Console „Lefedettség” szekciójában azonnal megjelent a figyelmeztetés. A javítás után (a helyes sor visszaállítása) 10 napon belül helyreállt az indexelés, és a forgalom visszatért az eredeti szintre. Tanulság: minden robots.txt módosítás után futtasd le a Google Search Console robots.txt tesztelőjét, és ellenőrizd a Search Console „Lefedettség” riportját.

A robots.txt a technikai SEO egyik alaptáblájának része. A Googlebot (keresőrobot) a robots.txt direktíváit követi, de figyelmeztetés: csak a bejárást tilthatod vele, az indexelést nem. Az indexelés tiltásához a meta robots „noindex” jelölést vagy az X-Robots-Tag HTTP-fejlécet kell használni. A GPTBot (AI-crawler) és más AI-robotok szintén a robots.txt-et olvassák, ezért 2026-ban az AI-crawlerek szabályozása is ide kerül. A llms.txt ezek mellé illeszkedő, AI-specifikus megoldás. A canonical URL a robots.txt-tel együtt határozza meg a crawler viselkedést: ha egy URL-t robots.txt-tel blokkoltál, a canonical tag-et sem tudja a Google elolvasni rajta.

• Hiba: A „Disallow: /” direktíva véletlenül kerül be (pl. fejlesztői szerveren hagyott konfiguráció élesítéskor) — ez az egész oldalt kizárja a Google elől, amit csak a Search Console forgalomesésből veszel észre.
• Hiba: Azt hiszed, hogy a robots.txt-tiltás elegendő az indexelés megakadályozásához — ha az oldalt más oldalak linkelik, a Google megtudhatja az URL létezését, és indexbe veheti cím és leírás nélkül.
• Hiba: Nem adod meg a sitemap helyét a robots.txt-ben — pedig a „Sitemap: https://pelda.hu/sitemap.xml” sor gyorsítja a Googlebot tájékozódását az oldal struktúrájáról.

A robots.txt a weboldalad gyökerében lévő szövegfájl, amely megmondja a Googlebotnak és az AI-crawlereknek, mely részeket járhatják be. Erős eszköz, de veszélyes: egyetlen hibás sorral az egész oldaladat kizárhatod a keresőből. Mindig ellenőrizd a Search Console robots.txt tesztelőjével módosítás után.