Sitemap és robots.txt WordPressnél és saját weboldalnál

A sitemap azoknak a címeknek a listája, amelyeket szeretne a keresőmotorokban látni. A robots.txt megmondja a keresőmotoroknak, mely címeket nem látogathatják, és hol található a sitemap. Az alábbiakban bemutatjuk, hogyan ellenőrizheti ezeket WordPressnél és egy saját készítésű weboldalnál.

WordPress

A WordPress az 5.5-ös verzió óta saját maga készít sitemapot és robots.txt fájlt:

• A sitemap a https://sajatdomain.hu/wp-sitemap.xml címen található.
• A robots.txt virtuális: nincs ilyen fájl a webmappájában, a WordPress mégis megjeleníti a https://sajatdomain.hu/robots.txt címen, a sitemapra mutató hivatkozással együtt.
• SEO bővítményt használ, például a Yoast SEO-t vagy a Rank Mathot? Ez gyakran saját sitemapot készít, például sitemap_index.xml néven. A címet a bővítmény beállításaiban találja. Ezt a címet kell beküldenie a Google és a Bing számára.

A WordPress alapértelmezett robots.txt fájlja nagyjából így néz ki:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://sajatdomain.hu/wp-sitemap.xml

Kizárja a WordPress a keresőmotorokat?

1. Jelentkezzen be a WordPressbe, és lépjen a Beállítások, majd az Olvasás menüpontra.
2. A keresőmotorok számára való láthatóságnál nézze meg a Keresőmotorok kizárása a honlap indexeléséből jelölőnégyzetet.
3. Ennek a jelölőnégyzetnek kikapcsolva kell lennie. Kattintson a Módosítások mentése gombra.

Ha a jelölőnégyzet be van kapcsolva, a WordPress arra kéri a keresőmotorokat, hogy hagyják ki a teljes weboldalát. Gyakran az oldal építése közben kapcsolják be, majd utána elfelejtik kikapcsolni.

A WordPress-oldalak megtalálhatóságáról bővebben a Megtalálhatóság: az alapok című leckében olvashat.

Saját robots.txt

Ha saját maga helyez el egy robots.txt fájlt a webmappájában, akkor az elsőbbséget élvez a WordPress virtuális robots.txt fájljával szemben. A WebOké tárhelycsomagjainál a webmappa a domain public_html mappája. A fájlt a DirectAdmin Fájlkezelőjével (lásd: A Fájlkezelő megnyitása: a csomag mappái) vagy FTP-n keresztül töltheti fel.

Egy egyszerű robots.txt, amely mindent engedélyez és a sitemapra mutat:

User-agent: *
Allow: /
Sitemap: https://sajatdomain.hu/sitemap.xml

Saját készítésű weboldal

Saját maga készíti a weboldalát, vagy egy másik programmal? Ebben az esetben nézze meg, hogy az adott program készít-e sitemapot. Ha nem, sitemap nélkül is boldogul: egy kisebb weboldal, amelynek oldalai között jó hivatkozások vannak, így is megtalálható. A sitemap azonban segít. Helyezze el a webmappájában, és hivatkozzon rá a robots.txt fájlban, a fenti módon.

Ellenőrzés

• Nyissa meg a https://sajatdomain.hu/robots.txt címet. Szerepel a User-agent: * alatt a Disallow: / sor? Ez esetben egyetlen keresőmotor sem látogathatja a weboldalát. Ha elkészült az oldal, törölje ezt a sort.
• Van benne Sitemap: sor? Nyissa meg ezt a címet a böngészőjében. A weboldala címeinek listáját kell látnia, https-sel és a saját domainjével.

Tipp: a robots.txt nem tartja távol az oldalt a Google-tól. Egy olyan oldal, amelyet nem szabad meglátogatni, mégis bekerülhet a keresési találatok közé, ha más weboldalak hivatkoznak rá. Ha egy oldalt valóban távol szeretne tartani a Google-tól, használjon noindex utasítást. A különbségről az Online gevonden worden tanfolyam robots.txt: mit blokkol, és mit nem című leckéjében olvashat.