Keresés és weboldal

robots.txt: feltérképezési szabályok és ellenőrzés

Feltérképezést szabályozol, indexelést tiltasz vagy hozzáférést védesz? Konkrét szabályminta, hat URL-próba és robotcsoportok ellenőrzése.

A feltérképezés pontos határa

Lekérheti?

Mit kérhet le a megnevezett robot?

Meleg papírháttéren fekete linómetszetes papírrobot áll egy nyitott vörös és egy zárt sötét kerítéskapu mellett.
A szabályfájl nem jelszó és nem garantált keresési eltávolítás.

RövidenA robots.txt a webhely gyökerében elérhető szövegfájl, amely a szabályt követő robotoknak jelzi, mely útvonalakat térképezhetik fel. Nem hozzáférés-védelem, és egy cím feltérképezésének tiltása önmagában nem garantálja annak eltűnését a keresési találatokból.

Más elnevezések: robots fájl, Robots Exclusion Protocol.

A robots.txt a webhelyhez tartozó feltérképezési szabályfájl. A szabályt követő robot ebből tájékozódik, mely útvonalakat kérheti le. A fájl nem rejti el a címet az emberek elől, és nem helyettesíti az indexelést tiltó jelzést vagy a belépéshez kötött hozzáférést. A helyes szerkesztés előtt ezért nevezd meg a feladatot: a robot lekérését szeretnéd szabályozni, a keresési megjelenést kizárni, vagy a tartalmat valóban nem nyilvánossá tenni?

Három eltérő döntés: feltérképezés, indexelés, hozzáférés

A feltérképezés során a robot elkéri az oldalt. Az indexelés a kereső általi feldolgozáshoz és nyilvántartáshoz tartozik. A hozzáférés-védelem azt szabályozza, ki kaphatja meg a tartalmat. Ezek összekeverése tipikus hibaforrás. A robots.txt utasítását követő robot nem kér le egy tiltott oldalt, de ettől a címét más forrásból ismerheti. A jelszóval vagy megfelelő jogosultsággal védett tartalom elérését viszont a szervernek kell ténylegesen korlátoznia.

A Google robots.txt-bevezetője kifejezetten elkülöníti a feltérképezés szabályozását a keresési megjelenés kizárásától. Egy más oldalról hivatkozott, tiltott URL tartalomlekérés nélkül is felbukkanhat találatként. Ezért a robots.txt nem jó titkosítási vagy adatvédelmi megoldás. A fájl maga is nyilvánosan elérhető, így az ott felsorolt útvonalak neveit nem érdemes bizalmasnak tekinteni. A ténylegesen érzékeny adatot megfelelő hozzáférés mögé kell tenni.

Az indexelés tiltásához használható noindex más rétegben működik. A Google noindex-leírása szerint a robotnak hozzá kell férnie az oldalhoz vagy az erőforráshoz, hogy az ottani jelzést megismerje. Ha robots.txt tiltja a lekérést, az új noindex láthatatlan maradhat számára. A szabályok együtt nem automatikusan erősebb védelmet jelentenek: bizonyos kombinációk éppen akadályozzák a kívánt utasítás megismerését.

01 / Válaszd ki a valódi feladatot

Három eszköz eltérő állapotot kezel

FeltérképezésA robot URL-lekérésének szabályozása, az adott eredeten.
robots.txt
Indexelés kizárásaA robotnak meg kell ismernie az oldalon vagy fejlécben átadott jelzést.
Hozzáférhető noindex
Nem nyilvános adatA jogosultságot a kiszolgálásnak kell érvényesítenie.
Valódi hozzáférés-védelem

Hol érvényes a fájl?

A szabályfájl a webhely gyökerében, robots.txt néven érhető el. A protokoll, a hoszt és a port határozza meg az érvényességi kört. Egy HTTPS-en kiszolgált fődomain fájlja nem válik automatikusan a másik aldomain vagy eltérő protokoll szabályává. Az auditban ezért a pontos eredetet rögzítsd, ne csak a márkanevet. A www-s és www nélküli változat kezelése is a tényleges kiszolgálástól és átirányítási rendszertől függ.

A termékek könyvtárába tett külön robots.txt nem helyettesíti a gyökérben elvárt szabályfájlt. Egy dokumentumtárban tárolt szerkesztői másolat pedig nem bizonyítja, mit kap a robot a nyilvános címen. A vizsgálatban mindig a ténylegesen kiszolgált fájlt kérd le. A válasz idejét, állapotkódját és tartalmát együtt őrizd meg, hogy később el lehessen dönteni, a kereső vagy az ellenőrző eszköz melyik szabályváltozattal találkozhatott.

A mintapéldákban egyetlen, HTTPS-en működő példawebhelyről beszélünk. Nem írunk át élő szolgáltatást, és a kód nem általánosan bemásolandó beállítás. A saját rendszerben előbb azonosítsd az összes érintett hosztot és környezetet: éles oldal, előnézet, statikus fájlkiszolgáló vagy eltérő áruház. Az indexelési és hozzáférési döntés ezek között eltérhet, a szabályt pedig a ténylegesen vizsgált robot értelmezésével kell kipróbálni.

User-agent, Disallow és Allow

A User-agent jelöli, mely robotnak szól a csoport. A Disallow a hozzá tartozó tiltott útvonalakat, az Allow egy engedő szabályt ad meg. Az RFC 9309 rögzíti a protokoll alapját, a konkrét kereső dokumentációja pedig a saját megvalósítását írja le. A Google esetében a szabályillesztésnél az útvonal pontossága és a megfelelő robotcsoport kiválasztása lényeges. A fájlsorrend egyszerű felülről lefelé olvasása nem ad helyes általános modellt.

A csillagos robotcsoport az általános mintában a hozzá illeszkedő robotokra vonatkozik. A tiltás nélküli útvonalat nem kell minden esetben külön Allow sorral felsorolni. A hiányzó szabály azonban nem mond semmit a tartalom indexelési céljáról vagy a szerver tényleges hozzáférési feltételéről. A szabályteszt csak azt válaszolja meg, hogy a vizsgált robot az adott fájl alapján mit tehetne a lekérésnél. A sikeres lekérés és az indexelés további kérdés.

A fájlban megjegyzés is elhelyezhető a megfelelő jelöléssel. A rövid indok hasznos lehet: mely útvonalcsoport miért kapott szabályt, ki a gazdája és mikor kell felülvizsgálni. A megjegyzés nem végrehajtási utasítás. Ha egy régi sor mellé azt írod, hogy már nem érvényes, de maga a sor változatlan marad, a robot továbbra is a tényleges szabályt olvassa. A dokumentálást és a kiszolgált tartalmat együtt kell karbantartani.

Saját szabályminta egy tesztkönyvtárhoz

A következő kitalált webhelyen a belső keresési útvonalat és egy tesztkönyvtárat nem kívánunk feltérképeztetni. A tesztkönyvtáron belül van egy nyilvános mintaleírás, amelyet viszont szeretnénk elérhetővé tenni a robot számára. A példa a szabályillesztés tanítására készült. A nyilvános mintaleírás nem bizalmas adat, és a tesztkönyvtár tiltása sem tekinthető hozzáférés-védelemnek. Valódi nem nyilvános környezethez külön hozzáférési feltétel szükséges.

User-agent: *
Disallow: /belso-kereses/
Disallow: /teszt/
Allow: /teszt/nyilvanos-minta/
Sitemap: https://example.com/sitemap.xml

A Disallow sorok itt útvonalminták. Az engedő sor a pontosabban meghatározott mintakönyvtárra vonatkozik. Az oldaltérkép sor teljes címet ad meg, de nem engedélyezi automatikusan az abban szereplő összes oldal lekérését, és nem írja felül a tiltásokat. A konkrét szabályillesztésben először a megfelelő robotcsoportot, utána az adott URL-re illeszkedő mintákat kell vizsgálni. A fájl önmagában nem ad állítást a célok tényleges indexeltségéről.

Hat kitöltött URL-próba

A mintában a termék útvonala nem illeszkedik tiltásra, ezért a szabály alapján feltérképezhető. A belső kereső a tiltott könyvtár alatt van, ahogyan a tesztoldal is. A nyilvános mintaleírásnál a hosszabb, pontosabb engedő útvonal érvényesül. A nagy kezdőbetűs Teszt és a záró perjel nélküli teszt útvonal külön eset. Ezeket a valódi rendszerben nem szabad egyetlen vizsgált címnek tekinteni, mert más karakterláncokat kap a robot.

Vizsgált útvonalA mintafájl eredményeIndok
/termek/taskaEngedettNincs illeszkedő tiltás
/belso-kereses/?q=taskaTiltottA belső keresési könyvtár illeszkedik
/teszt/probaTiltottA tesztkönyvtár szabálya illeszkedik
/teszt/nyilvanos-minta/EngedettA pontosabb Allow szabály illeszkedik
/Teszt/probaEngedettAz útvonal nagybetűje eltér
/tesztEngedettA tiltott minta záró perjele itt hiányzik

A hat próbából kettő tiltott és négy engedett. Ez a konkrét próbák eredménye, nem a webhely teljes URL-készletének megoszlása. Ha a kívánt döntés szerint az utolsó két címnek is tiltott állapot kell, a szabályt vagy a címváltozatok kiszolgálását pontosítani szükséges. A visszapróbában a korábban helyesen engedett mintaleírást is ellenőrizd. A túl tág javítás könnyen eltünteti a tudatos kivételt.

02 / Az általános mintafájl eredménye

A kivételt és a határesetet is próbáld ki

Illeszkedő könyvtárak
2 tiltottA belső keresési cím és a /teszt/proba a két tiltott példa.
Kivétel és eltérő útvonal
4 engedettA termék, a nyilvános minta, a nagybetűs Teszt és a /teszt végpont.
Rögzített tesztkészlet
6 próbaMódosításkor ugyanazokkal a címekkel és robotnévvel kell újrapróbálni.

Miért számít a pontosabb szabály?

A Google a legpontosabban illeszkedő útvonalhossz alapján választ, azonos erősségű ellentmondásnál az engedő szabály érvényesül. A mintában a tesztkönyvtár általános tiltásánál a nyilvános mintaleírás útvonala hosszabb és konkrétabb. Ettől a kivétel kezelhető, de a szabályrendszert olvasó kollégának is értenie kell, miért létezik. Egy rövid, célzott kivétel könnyebben ellenőrizhető, mint sok egymásnak ellentmondó, történeti sorból álló fájl.

A sorrend átrendezése önmagában nem azonos az eredmény megváltoztatásával. Ha a pontosabb útvonal kerül a fájl elejére vagy végére, az illesztési logika továbbra is ugyanaz. A módosításkor ezért a tesztelt URL eredményét nézd, ne csak azt, hogy az engedő sor most a tiltás után áll. Más szabálynyelvből hozott intuíció, például az utolsó sor győzelme, itt hibás döntéshez vezethet.

Külön robotcsoport és az öröklés félreértése

A Google értelmezési dokumentációja szerint a specifikus robotcsoport és a csillagos általános csoport nem egyszerűen összeadódik. Ha a Googlebot számára külön megfelelő csoportot adsz meg, az általános csoportból feltételezett tiltást nem szabad automatikusan hozzáörökítettnek tekinteni. Az ugyanahhoz a konkrét robothoz tartozó több csoport összevonása megint más eset. A tesztet ezért mindig a megnevezett robotra végezd el, nem csak egy általános eredményre.

A mintában képzelj el egy külön Googlebot-csoportot, amely kizárólag a belső keresést tiltja. Ilyenkor a tesztkönyvtárra vonatkozó általános tiltás nem feltétlenül hat úgy erre a robotra, ahogy a szerkesztő várta. A következő feladat a kívánt szabályok tudatos rögzítése és a hat útvonal újrapróbája a konkrét csoportban. A csoport hozzáadását ezért nem szabad pusztán név szerinti különválasztásnak tekinteni: megváltoztathatja a tényleges feltérképezési döntést.

A csapat munkalapján szerepeljen a robot neve és a teszt időpontja. Az összes robot működését egyetlen vizsgálat nem bizonyítja. A protokollt követő keresők mellett létezhetnek más kliensek és felhasználó által indított lekérések, amelyekre eltérő szabály vonatkozik. A hozzáférés-védelem ezért akkor sem alapulhat kizárólag ezen a fájlon, ha az ismert keresőrobot a tesztben megfelelően követi a kívánt tiltást.

Kisbetű, perjel, csillag és végjel

A szabálymezők nevének és az útvonal értékének megkülönböztetése fontos. A Google a mezőnevet nem ugyanúgy kezeli, mint a kis- és nagybetűre érzékeny útvonalat. A perjel szintén karakter, ezért a könyvtárat jelölő minta és a hasonló nevű végpont nem minden esetben egyezik. Az RFC és a Google leírása alapján ellenőrizd a tényleges mintát, különösen akkor, ha az útvonal kódolt vagy ékezetes karaktert is tartalmaz.

A csillag nulla vagy több karakter helyére illeszkedhet, a dollárjel a minta végét jelöli. Ezekkel hatékony szabály készíthető, de az indokolatlanul tág minta kívánt oldalakat is kizárhat. Ha például a teszt végpontot pontosan akarod megcélozni, más mintára lehet szükség, mint a teljes tesztkönyvtárra. A konkrét megoldás előtt sorold fel a kívánt és a nem kívánt példákat. A szabályt ezekből tervezd, majd ugyanazokkal a példákkal ellenőrizd.

A lekérdezési paraméterek kezelése különösen gondos próbát igényelhet. Egy általános szótöredék több más paraméterben vagy útvonalban is előfordulhat. Ne vezess be minden paraméteres címre tiltást csak azért, mert néhány rendezési változat felesleges. A kanonikus URL, a tartalmi különbség és a belső navigáció szerepe is vizsgálandó. A robots.txt nem helyettesíti a teljes URL-rendszer megértését, és nem kanonizálási utasítás.

Miért maradhat találat egy tiltott cím?

A cím létezéséről a kereső más oldalak hivatkozásaiból is tudhat. Ha a robots.txt miatt nem kéri le a tartalmat, ettől a nyilvántartásában még szerepelhet az URL. A tiltás ezért nem garantált keresési eltávolítás. A hibakeresésben külön sor legyen a robot lekérésének szabálya és a találati megjelenés megfigyelése. A két állapot közötti eltérés nem feltétlenül a szabály figyelmen kívül hagyása.

Ha a cél egy nyilvános oldal indexelésének kizárása, a megfelelően megvalósított és hozzáférhető noindex lehet releváns eszköz. Ha a cél a tartalom bizalmassága, tényleges hozzáférés-védelem szükséges. Ha a tartalom végleg megszűnt, annak megfelelő válasz és tartalmi döntés kell. A megfelelő lépés az elvárt eredményből következik, ezért az általános „tiltsuk a robotot” kérés előtt tisztázd, pontosan mit szeretnétek elérni.

Noindex a fájlban és az oldalon

A Google nem támogatja a robots.txt fájlban megadott noindex sort indexelési utasításként. A megfelelő jelzés HTML-oldalon metaelemben vagy HTTP-válaszfejlécben adható át, az adott tartalomtípusnak megfelelően. A pontos megvalósítást az oldal kiszolgálásán kell ellenőrizni. A tartalomkezelőben bekapcsolt mező nem bizonyítja automatikusan, hogy a nyilvános válaszban is megjelent a szükséges jelzés. A fájl és az oldal két külön vizsgálati cél marad.

Kitalált hibahelyzetben egy előnézeti dokumentumot először robots.txt tilt, majd a szerkesztő noindexet tesz az oldalra. A kereső a tiltás miatt nem feltétlenül olvassa el az új jelzést. A javításnak az oldal valódi nyilvánossági döntését kell követnie. A csapat nem kezd hozzá automatikusan minden tiltás feloldásához, hanem előbb tisztázza, megengedhető-e a tartalom hozzáférése, és mi a megfelelő végállapot. A keresési elrejtés nem azonos a dokumentumhoz való hozzáférés korlátozásával.

A szabályfájl saját állapotkódja

A robots.txt lekérése külön HTTP-kérés, amely maga is hibázhat. A Google dokumentációja eltérően kezeli a hiányzó fájlhoz tartozó legtöbb klienshibát és a szerverhibát vagy elérhetetlenséget. Egy 404-es robots-válaszból nem szabad általános teljes tiltást következtetni, ahogyan a szerverhibát sem lehet pusztán üres szabályfájlként értelmezni. A konkrét kezeléshez a Google aktuális leírását és az előzőleg ismert fájl állapotát is figyelembe kell venni.

A munkalap két külön kérdést tartalmazzon. Megkapta-e a robot a robots.txt fájlt, és mit jelentenek a benne lévő szabályok a céloldalra? Ha az első bizonytalan, a második tesztje csak a kéznél lévő másolatot igazolja. A gyorsítótár miatt a frissen módosított változat és a korábban ismert szabály eltérhet. A módosítás időpontját ezért őrizd meg, és a nyilvános fájl újraellenőrzését ne helyettesítsd a szerkesztői állomány megtekintésével.

Formátum és terjedelem

A fájl egyszerű szöveg legyen, megfelelő kódolással. Egy HTML-hibaoldal vagy a tárhely által beillesztett általános oldal nem a kívánt szabályfájl, még akkor sem, ha robots.txt néven nyílik meg. A Google leírása UTF-8 formátumot és saját feldolgozási mérethatárt is megad. Az aktuális dokumentáció szerint az 500 KiB utáni részt figyelmen kívül hagyja. Ez feldolgozási korlát, nem célméret vagy javaslat hosszú fájl létrehozására.

A saját szabályrendszerben a következetes könyvtárszerkezet gyakran átláthatóbb megoldást ad, mint több ezer egyedi cím tiltása. A konszolidálás viszont csak akkor helyes, ha nem fog össze eltérő szerepű oldalakat. A mintabeli nyilvános kivétel ezért a rövidített fájlban is maradjon megfelelő. A fájl tisztítását ugyanúgy teljes teszteset-készlettel ellenőrizd, mint egy új szabály hozzáadását. A kevesebb sor nem bizonyítja önmagában a helyesebb működést.

Kitöltött változtatási munkalap

A mintafeladat egy túl tág tiltás javítása. Az eredeti elvárás szerint a tesztkönyvtár nem feltérképezendő, a nyilvános mintaleírás igen. A gazda a kiszolgálási beállításért felelős fejlesztő, az üzleti ellenőrző a mintaleírás tartalomfelelőse. A módosítás tárgya a célzott Allow kivétel, a visszapróba pedig a hat korábban rögzített útvonal. A kész feltétel nem általános robotengedés, hanem a kívánt kétféle működés együttes teljesülése.

Tegyük fel, hogy az előkészítés harminc perc, a változtatás húsz perc, az ellenőrzés negyven perc. Ez összesen kilencven perc, vagyis másfél óra. Nyolcezer forintos tervezési óraköltséggel 12 000 forint munkaköltség-egyenérték. Ez saját oktatási becslés, nem piaci díj és nem a keresési eredmény értéke. Egy több hosztot vagy köztes rendszert érintő valódi feladat ennél lényegesen más munkatartalmat kívánhat.

A lezárt lap megőrzi a korábbi és az új szabályváltozatot, a kiszolgált címeket és a próbák időpontját. Ha élesben eltérő fájl jelenik meg, a feladat nem tekinthető késznek a helyi szerkesztés alapján. A hibajegyben legyen visszaállítható előző állapot és a beavatkozás kiterjedésének leírása. A jó dokumentálás célja az, hogy a következő kolléga is megértse a kivétel okát, és egy későbbi tisztítás ne törölje ki véletlenül.

Meglévő oldalnál mi indokol új szabályt?

A puszta URL-szám nem elég indok a tiltásra. Előbb vizsgáld meg, mely címek hoznak létre felesleges lekérést, és melyek kínálnak valódi választási segítséget. A belső szűrők között lehet olyan, amelyet a látogató rendszeresen használ, és olyan is, amely csak technikai ismétlést képez. A belső linkelés és az URL-készlet elemzése segít megérteni, hogyan keletkeznek és honnan érhetők el ezek a címek.

A javasolt szabályhoz konkrét előnyt és feltételt írj. Mely lekérési kört szeretnéd rendezni, hogyan ellenőrzöd, és mely kívánt oldalak maradnak elérhetők? Ne állíts garantált feltérképezési kapacitást vagy helyezési javulást a tiltásból. A technikai beavatkozás első közvetlen eredménye a kívánt szabály működése. A kereső tényleges lekérési és indexelési viselkedése későbbi külön megfigyelés, megfelelő saját adatokkal, ha azok hozzáférhetők.

Programkód színes szintaxiskiemeléssel egy számítógép képernyőjén.
A forráskód vizsgálata más kérdésekre válaszol, mint a képernyőn látható oldal ellenőrzése.Illusztráció · Fotó: Godfrey Atima / Pexels

A robotcsoport változásának kitöltött próbája

A hat korábbi útvonalat két szabályváltozattal is kipróbálhatjuk. Az első kizárólag a bemutatott általános csoportot tartalmazza. A másodikban a Googlebot külön csoportot kap, amely csak a belső keresést tiltja. A második változat nem javasolt általános beállítás, hanem az öröklési félreértést szemlélteti. Ugyanarra a robotra és ugyanarra a hat címre nézve az első fájlnál két tiltott, a másodiknál egy tiltott eredményt kapunk.

A különbség a /teszt/proba útvonal: az általános csoportban tiltott, a külön Googlebot-csoportban nem tiltott. A többi vizsgált eset eredménye változatlan marad. Így a fájl módosítása előtt világos, melyik következményt kell elfogadnia vagy javítania a gazdának. Ha az volt a cél, hogy a tesztkönyvtár továbbra is tiltott legyen a Googlebotnak, a második változat nem teljesíti az elvárást. A specifikus csoport nevétől nem lesz automatikusan részletesebb vagy szigorúbb a védelem.

03 / Csoportválasztás következménye

A külön Googlebot-csoport nem örököl minden általános tiltást

Ugyanaz a hat példaútvonal, két szerkesztett fájlverzióval.

Csak általános csoportBelső keresés és tesztkönyvtár tiltva, nyilvános kivétellel

2 tiltott A hat próbából

Az általános szabály érvényesül/teszt/proba tiltott
Külön Googlebot-csoportEbben a csoportban csak a belső keresés tiltott

1 tiltott A hat próbából

Az általános tiltás nem adódik hozzá/teszt/proba engedett

A jegyzőkönyvben mindkét fájlverzió és a tizenkét értékelés visszakereshető. A próbák számát ne nevezd feltérképezett oldalak számának: itt szabályillesztést értékelünk, nem a robot valódi hálózati kéréseit figyeljük. A helyes szabálytesztből annyi következik, hogy a bemenetként használt fájl a választott robotra a kívánt eredményt adja. Az élesben kiszolgált fájl és a kereső későbbi viselkedése további, külön bizonyítékot igényel.

Könyvtár és pontos végpont két külön cél

Az eredeti mintában a záró perjel nélküli /teszt cím engedett maradt. Ha ezt is tiltani szeretnétek, az elvárást pontosan nevezzétek meg. A teljes /teszt szókezdet tiltása ugyanis a /teszteles címre is kiterjedhetne, amelynek lehet más, nyilvános feladata. A példában ezért a könyvtár és a pontos végpont külön mintát kap. A nyilvános mintakönyvtár kivétele közben megmarad, mert az eredeti tartalmi döntés továbbra is érvényes.

User-agent: *
Disallow: /teszt$
Disallow: /teszt/
Allow: /teszt/nyilvanos-minta/

A kitöltött elvárás négy konkrét címen ellenőrizhető. A /teszt a pontos végpont miatt tiltott, a /teszt/ a könyvtárszabály miatt tiltott. A /teszteles nem illeszkedik ezekre, ezért engedett. A /teszt/nyilvanos-minta/ a pontosabb kivétel miatt engedett. Ez két tiltott és két engedett próba, nem általános tanács minden teszt nevű útvonalra. Paraméteres és kódolt változatnál további teszteset szükséges a tényleges URL alakjával.

Mit ellenőrizz a fájl lekérésekor?

curl --silent --show-error --include 'https://example.com/robots.txt'

A kizárólag fejléceket vizsgáló HEAD-kérés nem elég a szabályok ellenőrzéséhez. A tényleges GET-választ hasonlítsd össze az átadott fájllal. Ha átirányítás van, rögzítsd az eredeti választ és a célcímet; a robotok követési feltétele nem minden kliensnél azonos. A köztes gyorsítótár miatt a friss helyi változat eltérhet a nyilvánostól. A visszapróba ezért ugyanarról az eredetről és megfelelő időponttal történjen, amelyre a szabályt szántátok.

A próba eredményét ne kizárólag képernyőképben add át. A pontos cím, az idő, az állapotkód és a látott szabályváltozat együtt könnyebben visszaellenőrizhető. Ha a nyilvános válaszban hiányzik az új kivétel, előbb a kiszolgálást kell rendezni. Egy másolt szabályszöveg tesztje ezt a hibát nem találja meg, mert nem ugyanazt a bemenetet kapja. A szabály logikája és a megfelelő verzió elérhetősége két külön elfogadási feltétel marad.

Nem támogatott sor és tényleges túlterhelés

Más robot számára használt kiegészítő mező nem feltétlenül vezérli a Googlebotot. A Google jelenlegi leírása például nem támogatott mezőként nevezi meg a crawl-delay sort. Egy ilyen sor beillesztéséből nem szabad biztos Google-lassítást állítani. A tényleges kiszolgálási túlterheléshez napló, erőforrás-megfigyelés és megfelelő műszaki beavatkozás szükséges. A robots.txt szerepét itt is a dokumentált robotviselkedés alapján kell megítélni, nem egy más rendszerből átmásolt recept szerint.

A munkalapon a túlterhelés ténye és a feltételezett okozó külön szerepeljen. Ha sok kérés mellett nő a hibás válaszok száma, meg kell nézni a kérésforrást és a szerver működését. Nem minden robotnévvel érkező kérés valódi keresőrobot, és nem minden teljesítményprobléma oldható meg szabályfájllal. A beavatkozásnak a bizonyított problémát kell kezelnie. A későbbi visszapróba ugyanazt a terhelési vagy hozzáférési feltételt vizsgálja, amelyre a javítást megfogalmaztátok.

A megjelenítéshez szükséges erőforrások tiltása

A szabályfájl nemcsak HTML-oldal útvonalára vonatkozhat. Ha a főtartalom megjelenítéséhez szükséges szkript vagy más erőforrás kerül tiltott könyvtárba, a robot más tartalmat kaphat, mint amit a teljesen betöltődő böngészőben látsz. A mintában egy nyilvános termékoldal kompatibilitási adatát átadó erőforrás érintett. A feladat először annak igazolása, hogy a tiltott kérés valóban szükséges a kívánt tartalomhoz. Nem minden technikai fájlt kell automatikusan felszabadítani.

A javítási lap konkrét erőforrást és konkrét termékoldalt kapcsoljon össze. A célzott szabályváltozás után ellenőrizd, hogy a kívánt adat megjelenik-e, és a továbbra is kizárt minták megőrzik-e az elvárt állapotukat. A saját böngésző, a szabályteszt és a kereső megjelenítési próbája eltérő bizonyíték, ezért a módszert is nevezd meg. A helyes végállapot a szükséges nyilvános tartalom feldolgozhatósága. Ebből önmagában nem következik új indexeltség vagy jobb helyezés, de a konkrét műszaki akadály rendezése ellenőrizhető.

Átadás és későbbi felülvizsgálat

Az átadott csomag tartalmazza a pontos eredetet, a szabálygazdát, a döntések indokát, a próbált robotot és az URL-eseteket. Legyen benne engedett, tiltott, kivételes és határeset. A kizárólag sikeres mintákból álló próba nem mutatja meg, megmaradt-e a tudatos korlátozás. A kézi olvasás és a konkrét szabályteszt együtt hasznos: az előbbivel az indokot értjük meg, az utóbbival a megadott bemenet tényleges illeszkedését ellenőrizzük.

Új könyvtár, hoszt vagy tartalomrendszer bevezetésekor nézd át újra az érintett szabályokat. A régi tesztpélda maradhat regressziós ellenőrzés, mellé pedig új eset kerülhet. A Search Console ismert megfigyelését a változat és az időpont ismeretében értékeld. A robots.txt akkor kezelhető megbízhatóan, ha rövid, indokolt szabályokhoz konkrét próbák és felelősök tartoznak, és a feltérképezés, az indexelés és a tartalom valódi hozzáférése végig külön döntés marad.

Források és szerkesztési megjegyzés

A forrásokat a feltüntetett frissítéskor ellenőriztük. A számpéldák oktatási minták, a javasolt ellenőrzőlisták szerkesztői útmutatók. A platformok működése és elnevezése változhat.

Vissza az összes fogalomhoz · Szerkesztési elvek · Javítást javaslok ehhez a szócikkhez