Fontos változást jelentett be a Google 2019. július 1-én, amit 2019. július 2-án kiegészített, hogy hamarosan változás lesz a robots.txt file-okban kezelt adatokban, mivel számos, eddig sikeresen használt parancsot már nem fog támogatni.

Akkor még csak annyit adtak meg bevezetésnek, hogy “hamarosan”. Idő közben a hamarosan is eltelt és elérkezett a bevezetés időpontja is már: 2019. szeptember 1.

A július elsején bejelentett változásokról részletesen itt tette közzé a Google a robots.txt-re vonatkozó információkat.

Noindex támogatás megszűntetése a robots.txt-ben

Ezek közül a változtatások közül, ami számunkra kimondottan érdekes weboldal feltérképezés, így keresőoptimalizálás szempontból az a noindex parancs támogatásának megszűntetése.

Akiket ez érint, azok közül nagyon sokan kaptak is értesítést már, hogy vegyék ki ezeket a parancsokat a robotstxt-ből, mert szeptember 1-től nem lesz támogatva. 

Fontos! Ha még nem kaptál, az nem jelenti azt, hogy nem kell vele foglalkoznod, mert közel sem teljes a tájékoztatási kör. Inkább ellenőrizd, hogy mik szerepelnek a saját file-odban.

Hogyan ellenőrizd a saját robots.txt file-odat

Az ellenőrzéshez a Google is biztosít lehetőséget a Search Console fiókon belül, így nem kell sokáig keresgélni, van-e probléma az oldalon.

1. Ezen az oldalon megnyithatod a tesztelő eszközt.
2. Válaszd ki a megfelelő Search Console tulajdont, amit szeretnél vizsgálni.

1. Nézd meg, hogy talált-e hibát, vagy figyelmeztetést a file-ban.

Így viszonylag egyszerűen és gyorsan fel tudod térképezni, minden rendben van-e a file-ban. Ha mind a hibára, mind pedig a figyelmeztetésre 0 lett az eredmény, akkor hátra dőlhetsz, minden rendben van.

Kiket érint a változtatás

Mindenkit, aki aktívan használta a robots.txt file-t az oldalán és voltak olyan oldalai, amit nem szeretett volna megjeleníteni a Google keresőben.

Ilyen oldalak lehetnek például:

• Termék listaoldal variációk, különböző szűrt listák
• PPC kampány oldalak
• Belső oldalak, “csak klubtagoknak”
• megszűntetett, törölt oldalak

Mit jelent a noindex támogatás hiány a gyakorlatban

Az elmúlt 20 évben tökéletesen jól működő megoldást vezetett most ki a Google ezzel a mdosítással, ugyanis ha egy oldalt nem szerettél volna megjeleníteni a Google keresési eredményei között, akkor egyszerűen megadtál egy ilyen parancsot és már nem is indexálta be az oldalt:

Noindex: /pelda-oldal-1/

Ez egy könnyen használható és jól ellenőrizhető megoldás volt eddig, mert egy file-ban, közös helyen lehetett az összes hasonló szabályt kezelni. E helyett azonban alternatív megoldásokat javasol a Google, hogy miként lehet az eddig használt robots.txt parancsokat megfelelően kezelni.

Alternatív megoldások

Persze nem csak a módosításokról adtak tájékoztatást, hanem egyúttal meghatározták azt is, hogy mik azok a megoldások, amik szeptember 1 után jól fognak működni:

• Noindex beállítása a robots meta tag részben: HTTP és HTML head részekben is egyaránt alkalmazható és ez a leghatékonyabb módja annak, hogy egyes oldalakat, url-eket kitiltsunk az indexálásból.
• 404 and 410 HTTP státusz kódok: Mindkét kód azt jelzi, hogy az oldal nem létezik, amivel elérhetjük, hogy a Google index adatbázisából kikerüljön adott oldal.
• Jelszavas védelem: Ha külön nem állítunk be erre parancsot, akkor a feliratkozáshoz, vagy tagsághoz kötött tartalmakat nem fogja indexálni a Google. Belépéshez kötött hozzáférésnél alapvetően el fogjuk rejteni a tartalmat a Google index adatbázis elől.
• Disallow a robots.txt file-ban: Ha egy oldalt disallow paranccsal blokkolunk a robots.txt-ben, akkor megszüntetünk minden hozzáférést a keresőmotorok számára. Így se indexálni, se feltérképezni nem fogják azt. Megjegyzés: ha valamilyen külső, vagy belső oldalról hivatkozik egy link az oldalra, akkor még lehet ebben a megoldásban hiba, de ezen dogloznak már.
• Search Console Remove URL eszköz: Ezzel az eszközzel ideiglenesen el lehet távolítani egy url-t a Google index adatbázisából. Fontos kiemelni, hogy ez maximum 90 napig fog élni. Az eszköz itt érhető el, de javaslom elolvasni az előző linken található leírást is.

Hogyan használd ezt az információt

A fenti lista tartalmaz több eszközt is, ami segíthet, illetve neki láthatsz átnézni az oldalad, hogy mik azok, amikkel foglalkoznod kell.

Emellett weboldal motortól függően vannak olyan eszközök, amik segítenek a beállításokban. Példaként most két opciót hoztam WordPress oldalakhoz.

Noindex meta tag beállítása WordPress oldalon

Itt már elég sok megoldást lehet találni. Ezek közül, amit leginkább szoktam én is használni, az a Yoast SEO plugin. Nagyon egyszerű a beállítás, ajánlom nektek is ezt a megoldást használni:

Ha a video alapján beállítjátok a noindex parancsot, akkor a plugin hozzá fog adni az oldal kódjához egy 

sort és működik is.

Jelszavas védelem beállítása WordPress oldalra

Ez egy gyárilag beépített funkció WordPress alatt. Ha megnyitod az adott oldalt szerkesztési nézetben, ott a jobb felső részen látod, hogy az oldal pl “Publikált” státuszban van. Ez a menüpontja a jelszavas védelem beállításának is.

Összegzés

A fent leírt módosítások nem felforgatni hivatottak a jelenlegi status quo-t a webes világban, hanem a Google azon törekvésének egy következő lépése, hogy standardizálja a robots exclusion protocolt. Ez pedig az egyik első lépés ehhez.

A feladat nem megugorhatatlan, persze lesznek olyan oldalak, nagyobb webshopok például, ahol okozhat némi fejtörést, de itt is meg lehet találni a megfelelő megoldást a gyors feldolgozásra.