Hogyan tartható távol egy oldal a Google-től: robots.txt vagy noindex?
Ha nem szeretné, hogy egy oldal megjelenjen a Google-ban, például egy köszönőoldal, egy tesztoldal vagy egy régi akció esetén, sokan a robots.txt fájlra gondolnak. A robots.txt azonban nem tartja távol az oldalt a Google-tól. Erre a noindex szolgál. Ebben a cikkben olvashat a kettő közötti különbségről, arról, hogyan használja mindkettőt, és mit kell tennie egy törölt oldallal. Példaként az example.com domaint használjuk.
A különbség röviden
| robots.txt | noindex | |
|---|---|---|
| Mit jelent | "Ne töltse le ezt az oldalt." | "Ne vegye fel ezt az oldalt a keresési találatok közé." |
| Távol tartja az oldalt a Google-tól? | Nem. Ha mások hivatkoznak az oldalra, a cím akkor is megjelenhet, leírás nélkül. | Igen, amint a Google ismét meglátogatja az oldalt. |
| Hol található? | Egy fájlban, itt: https://example.com/robots.txt | Magában az oldalban, vagy a szerver által küldött fejlécsorban |
| Mire használható? | A feltérképezési forgalom irányítására, például a saját webhely keresési eredményoldalainak kihagyására | Olyan oldalakhoz, amelyek elérhetők maradnak, de nem szabad megjelenniük a Google-ban |
Egyik sem jelent valódi védelmet. Bárki elolvashatja a robots.txt fájlt, és a noindex jelöléssel ellátott oldal továbbra is elérhető marad. Ha valamit ténylegesen el kell zárni, használjon jelszavas védelmet. Lásd: Mappa jelszóval történő védelme DirectAdminben.
A noindex használata
Illessze be ezt a sort az oldal <head> részébe:
<meta name="robots" content="noindex">
A nem HTML-fájlok esetében, például egy pdf-nél, a szerver ugyanezt az utasítást fejlécsorként is elküldheti: X-Robots-Tag: noindex. A hatás ugyanaz.
A legtöbb esetben ezt nem kell saját kezűleg beírni:
- AI Builder: nyissa meg a SEO részt, válassza ki az oldalt, majd a Több ehhez az oldalhoz résznél kapcsolja ki az Ez az oldal megtalálható a Google-ban kapcsolót. Az oldal elérhető marad, de noindex jelölést kap. Ezután publikálja újra.
- WordPress: egy SEO-bővítmény oldalanként kínál beállítást az oldal indexelésének letiltására. A Keresőmotorok lebeszélése az oldal indexeléséről jelölőnégyzet a Beállítások, Olvasás menüpontban a teljes webhelyre vonatkozik.
- Egyéb webhelyszerkesztők: keressen egy olyan beállítást, mint az "elrejtés a keresőmotorok elől".
A robots.txt létrehozása vagy módosítása
Egy tárhelycsomagon a robots.txt a domain webes mappájában található, DirectAdmin esetén a public_html mappában. A fájlt a Fájlkezelőn vagy FTP-n keresztül hozhatja létre vagy szerkesztheti, lásd: A Fájlkezelő megnyitása: a csomagban található mappák. Egy példa:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *minden keresőrobotra vonatkozik. ADisallow:egy útvonallal minden olyan tartalmat tilt, amely az adott útvonallal kezdődik. ADisallow: /az egész webhelyet tiltja.- Ha létrehoz egy
User-agent: Googlebotcsoportot is, a Google kizárólag azt a csoportot követi, a*csoportot pedig figyelmen kívül hagyja. Ezért ott ismételje meg az összes olyan szabályt, amely a Google-ra is vonatkozik. - Ne blokkolja azokat a mappákat, amelyekben az oldalhoz szükséges stíluslapok, szkriptek vagy képek találhatók.
- Ha nincs robots.txt fájl, az nem jelent problémát: ebben az esetben minden engedélyezett. Ha a cím szerverhibát ad vissza, a Google ideiglenesen leállítja a letöltést.
A WordPress automatikusan létrehoz egy robots.txt fájlt, amíg nincs ilyen fájl a webes mappában. Az AI Builder a publikáláskor automatikusan létrehoz egy robots.txt fájlt egy Sitemap: sorral.
A Google jellemzően 24 óráig tárolja a robots.txt fájlt. A Search Console-ban a Beállítások menüpontnál található a robots.txt-jelentés: ebben látható, hogy melyik verziót töltötte le utoljára a Google, a hibákkal és figyelmeztetésekkel együtt, valamint egy gomb az ismételt letöltés kéréséhez.
Törölt oldal: 404 vagy 410, ne soft 404
Ha töröl egy oldalt, a címnek a 404-es (nem található) vagy a 410-es (megszűnt) állapotkódot kell visszaadnia. A következő látogatáskor a Google eltávolítja a címet a keresési találatok közül. Ha az oldalnak van utódja, irányítsa át a régi címet 301-es átirányítással az új oldalra, lásd: Site Omleiden: domain vagy oldal átirányítása.
A soft 404 egy olyan oldal, amely azt jelzi, hogy nem létezik, vagy szinte üres, mégis a 200-as (megtalálva) kódot adja vissza. A Google ezt gyakran felismeri, és nem veszi fel az ilyen oldalt. A Search Console-ban ez Soft 404 okként jelenik meg. Az is soft 404-nek minősülhet, ha minden törölt oldalt a főoldalra irányít át. Ezért egy ténylegesen megszűnt oldal esetén biztosítsa, hogy valódi 404-es vagy 410-es kódot adjon vissza.
Ha egy oldalt gyorsan el kell távolítani a találatok közül, például mert véletlenül személyes adatok kerültek rá, használja a Eltávolítások funkciót a Search Console-ban. Ez ideiglenesen, körülbelül hat hónapig működik. Ezért gondoskodjon arról is, hogy az oldal 404-es, 410-es állapotkódot, jelszót vagy noindex jelölést kapjon.
További olvasnivaló
- Google: Indexelés blokkolása noindex használatával (angol nyelven)
- Google: Bevezetés a robots.txt fájlba (angol nyelven)
- Google: robots.txt-jelentés
- Fájlok blokkolása .htaccess segítségével
WordPresst használ? A Megtalálhatóság: az alapok című, ingyenes WordPress-tanfolyam leckéjében többet olvashat a robots.txt fájlról és a Keresőmotorok lebeszélése jelölőnégyzetről.