X-Robots-Tag

Az X-Robots-Tag egy HTTP-válaszfejléc, amellyel ugyanazokat az indexelési utasításokat (noindex, nofollow, noarchive stb.) adhatod meg, mint a HTML meta robots címkével, csak épp a szerver szintjén.

Akkor, amikor nem HTML fájlokat kell vezérelned, amelyekbe nem tudsz meta címkét tenni: PDF-ek, képek, videók. Például, ha egy letölthető PDF-et ki akarsz hagyni az indexből, az X-Robots-Tag a megoldás. Haladó technikai SEO-eszköz.

A 2026-os Google-frissítések után az AI-crawlerek (Googlebot, GPTBot, ClaudeBot) szintén értelmezik az X-Robots-Tag fejlécet, ezért a nem nyilvános dokumentumaidat HTTP-szinten is érdemes védened. Ha például egy vállalkozás belső árlistáját PDF formátumban tárolja, de az URL publikusan elérhető, az X-Robots-Tag: noindex utasítással megakadályozhatja, hogy a Google (vagy bármely AI-motor) indexelje azt. Az utasítás szerver- (Apache .htaccess vagy Nginx config) szintjén adható meg, és kiválthatja a HTML meta robots kényelmetlenségét ott, ahol az oldal nem szerkeszthető közvetlenül. Összetett webshop-oldalaknál, ahol a szűrt kategóriaoldalak dinamikus képekre mutatnak, az X-Robots-Tag noindex a kép-URL-eknél megakadályozza a felesleges indexelést, ami segíti a robots.txt által kiegészített crawl-budget-gazdálkodást.

Egy győri B2B gépgyártó cég 2026 elején felülvizsgálta technikai SEO-beállításait. A Google Search Console-ban (GSC) azt látta, hogy több száz belső PDF-dokumentum (műszaki adatlapok, árajánlat-sablonok) be van indexelve, pedig ezeket kizárólag meglévő ügyfeleknek szánta. A meta robots megközelítés nem volt alkalmazható, mert a PDF-ekbe nem lehetett HTML-t illeszteni. A webfejlesztő az Apache szerverkonfiguráción belül beállított egy általános X-Robots-Tag: noindex, noarchive fejlécet a /dokumentumok/ könyvtárra. Két hét alatt a Google Search Console Coverage-riportjában 340 PDF eltűnt az indexből, és a crawl-budget a valóban rangsorolni kívánt termék- és szolgáltatásoldalakon összpontosult. A HTTP-státuszkódok és az X-Robots-Tag együttes alkalmazásával az indexelés (indexing) teljes körűen szabályozhatóvá vált.

Az X-Robots-Tag a technikai SEO-eszközök tágabb ökoszisztémájában működik. A meta robots HTML-alapú megfelelője: mindkettővel ugyanazokat az utasításokat (noindex, nofollow, noarchive) adhatod meg, de az X-Robots-Tag szerver szinten hat, tehát nem HTML dokumentumokra is alkalmazható. A robots.txt a crawlolást korlátozza (megakadályozza, hogy a bot letöltse az oldalt), míg az X-Robots-Tag az indexelést tiltja (a bot letöltheti, de nem indexeli). A HTTP-státuszkódok szintén szerver szinten kommunikálnak a crawlerrel — a 404, 410 és a noindex X-Robots-Tag más célokra valók, de együtt kell megtervezni őket. Az indexelés (indexing) szabályozásának teljes képéhez mindhárom eszközt ismerned kell. A canonical URL logikájával is érdemes összehangolni: ha egy URL kanonikus, általában nem akarod noindexelni.

• Hiba: X-Robots-Tag és robots.txt egyidejű, egymásnak ellentmondó beállítása. Ha a robots.txt letiltja a crawlolást, a bot nem is látja az X-Robots-Tag fejlécet — az utasítás nem jut érvényre. A crawlolást és az indexelést külön kell tervezni.
• Hiba: Globális noindex minden PDF-re, beleértve a nyilvánosan szükségeseket. Néha egy termékbrosúra vagy publikus adatlap rangsorolása kívánatos. Az X-Robots-Tag alkalmazásakor mindig szűkítsd a hatókört (könyvtár szinten vagy fájlnévmintával), ne tiltsd le az összes nem HTML erőforrást.
• Hiba: Fejléc beállítása után nem ellenőrzik az eredményt. A GSC URL-vizsgáló eszközével mindig ellenőrizd, hogy a Google valóban látja-e az utasítást, mielőtt lezárnád a feladatot. Egy eltévesztett szerverskonfiguráció megmaradhat észrevétlenül hetekig.

Az X-Robots-Tag egy HTTP-fejléc, amellyel nem HTML fájlokat (PDF, kép, videó) is kivonhatsz a Google-indexből, noindex, nofollow vagy noarchive utasítással. A meta robots HTML-alapú alternatívájának szerver szintű kiegészítője, nélkülözhetetlen eszköz nagyobb, komplex weboldalakon és webshopokban, ahol a crawl-budget tudatos kezelése elengedhetetlen.