Indexelés: mi kerül be az indexbe, és mi nem

Modul 1: Hogyan működnek a keresőmotorok · Olvasási idő: 11 perc

Tanulási cél: A lecke végére meg tudja ítélni egy oldalról, hogy bekerülhet-e az indexbe, és ha nem, a négy „zár” közül melyik tartja vissza: a státuszkód, a robots.txt, a noindex vagy a canonical.

Kulcsfogalmak: indexelés, a Google technikai követelményei, noindex (meta robots és X-Robots-Tag), a robots.txt nem noindex, kanonizálás, ismétlődő tartalom, soft 404, „Feltérképezve, jelenleg nincs indexelve”, „Felfedezve, jelenleg nincs indexelve”, nincs garancia

Mi történik az indexelés során

Miután a crawler lekért egy oldalt (1.2. lecke), a keresőmotor elolvassa azt. A Google elemzi a szöveget, a címet, a címsorokat, a képeket és a videókat, és megállapítja, milyen nyelvű az oldal. Azt is kideríti, hogy az oldal egy másik oldal másolata-e, és ha igen, a másolatok közül melyik az „igazi”. A Google csak ezután dönti el, hogy az oldal bekerül-e az indexbe.

A Google erről két dolgot mond, amelyet érdemes jól megjegyezni:

• A bekerülés nem garantált. Még ha az oldala minden követelménynek megfelel is, a Google dönthet úgy, hogy nem veszi fel.
• Teljesen normális, hogy nem kerül be minden. A Google az indexelési jelentés súgójában szó szerint leírja, hogy ne számítson arra, hogy a webhelye minden címe indexelve lesz, és ez rendben is lehet. A lényeg a fontos oldalai.

A három technikai követelmény

A Google három technikai követelményt nevez meg ahhoz, hogy egy oldal szóba jöhessen az indexben:

1. A Googlebot nincs letiltva. Az oldal elérhető, és a robots.txt nem tiltja a lekérését.
2. Az oldal működik. A szerver 200-as státuszkódot ad, nem hibát.
3. Az oldalnak indexelhető tartalma van. Olyan fájltípusú szöveg, amelyet a Google el tud olvasni, és nem sérti a spamszabályokat.

A gyakorlatban ehhez a webhely tulajdonosának két döntése társul: egy noindex („ezt ne vedd fel”) és egy másik címre mutató canonical („ne ezt, hanem azt”). Ez összesen négy zárat jelent, amelyen egy oldalnak át kell jutnia.

1. zár: a státuszkód

Csak egy 200-as státuszú oldal kerülhet be az indexbe. A 301 vagy 308 továbbküldi a keresőmotort az új címre; ekkor az új címet értékeli. A 404 vagy 410 egy korábban felvett címet eltávolít az indexből.

A trükkös változat az 1.2. leckéből ismert soft 404: a státusz 200, de a tartalom egy hibaüzenet vagy egy szinte üres oldal. A Google ezt gyakran felismeri, és az ilyen oldalt nem veszi fel. Egy webáruház üres kategóriaoldalát („nem található termék”) is soft 404-nek tekintheti.

2. zár: a robots.txt

A robots.txt segítségével megtiltja egy crawlernek, hogy lekérjen egy oldalt. Ez nem ugyanaz, mint megtiltani, hogy felvegye. A Google ebben egyértelmű: a robots.txt nem arra való, hogy egy oldalt távol tartson a Google-tól. Ha más webhelyek egy letiltott oldalra linkelnek, a cím mégis megjelenhet a találatok között, csak leírás nélkül. A Search Console ezt így nevezi: „Indexelve, bár a robots.txt letiltotta”.

A robots.txt a feltérképezési forgalom irányítására szolgál: például arra, hogy egy crawler ne járja végig a saját webhelye több ezer keresési találatoldalát. A 3.3. lecke részletesebben foglalkozik vele.

3. zár: a noindex

Ha valóban azt szeretné, hogy egy oldal ne jelenjen meg a keresési találatok között, használja a noindex utasítást. Ezt kétféleképpen teheti meg, azonos hatással:

<!-- az oldal <head> részében -->
<meta name="robots" content="noindex">

X-Robots-Tag: noindex

A második egy HTTP-fejléc, amelyet a szerver küld el. Ez olyan fájloknál is működik, amelyek nem HTML-ek, például egy pdf esetében. A none érték ugyanazt jelenti, mint a noindex, nofollow. A <meta name="googlebot" content="noindex"> esetén a szabály csak a Google-ra vonatkozik; más keresőmotorok egy általános szabályt másként értelmezhetnek.

És most jön a nagyon gyakori buktató: a noindex és a robots.txt-ben lévő tiltás együtt nem működik. Ha a robots.txt letiltja az oldalt, a Google nem kéri le, így a noindexet sem látja soha. Az oldal ekkor mások linkjein keresztül mégis bekerülhet az indexbe. Ha egy oldalt ki szeretne venni a Google-ból: engedje lekérni, és tegyen rá noindexet.

Hol találkozhat akaratlanul noindexszel?

• A WordPressben a Beállítások, Olvasás menüpontban található a „Keresőmotorok eltanácsolása a honlap indexelésétől” jelölőnégyzet. Ez az egész webhelyre noindexet tesz. Az építés alatt hasznos, végzetes, ha elfelejti kikapcsolni.
• Az AI Builderben egy webhelyet vagy oldalt „ne indexelje” beállításra állíthat; ekkor noindex, nofollow kerül az oldalba. Egy ingyenes demóoldalt sem indexelnek soha.
• Egy SEO-bővítmény vagy téma, amelyben oldalanként vagy oldaltípusonként hibás a beállítás.

Más weboldalkészítőkben is vannak hasonló kapcsolók, gyakran olyan néven, mint „elrejtés a keresőmotorok elől”.

4. zár: a canonical

Sok webhelyen ugyanaz az oldal több címen is elérhető: www-vel és anélkül, http és https protokollal, vagy egy mögé írt paraméterrel, például ?utm_source=nieuwsbrief. Az ilyen csoportokból a Google egyetlen címet választ kanonikus változatként, és csak azt jeleníti meg a találatok között. A többi ismétlődő oldal.

A választásban segítheti a Google-t egy átirányítással (erős jel) vagy egy, az oldalban elhelyezett canonical-hivatkozással:

<link rel="canonical" href="https://www.example.com/bruidsboeketten">

A canonical jelzés, nem parancs: a Google választhat másik címet is. Ha a canonical egy másik címre mutat, az oldal maga mondja: „ne engem vegyél fel, hanem azt a másikat”. Ez jó, ha helytálló, és probléma, ha tévedésből került oda, például ha minden oldal a kezdőlapra mutat. A 3.5. lecke ezt tovább részletezi.

A saját webhelyén belüli ismétlődő tartalom a Google szerint nem sérti a spamszabályokat, és nem vezet manuális intézkedéshez. Viszont nem hatékony: a crawlerek ugyanazt többször kérik le, és nem Ön dönti el, melyik cím jelenik meg a találatok között.

Az üzenetek a Search Console-ban

A Search Console Oldalak jelentésében (2.4. lecke) minden nem indexelt oldalnál megjelenik egy ok. A négy zár mindegyike visszaköszön benne:

Az utolsó kettő nem technikai hiba. A „Feltérképezve, jelenleg nincs indexelve” gyakori; a Google szerint nem mindig jelent problémát. Ha egy fontos oldalról van szó, nézze meg, valóban hozzátesz-e valamit: egy egyedi, hasznos oldalnak nagyobb az esélye, mint egy vékony oldalnak, amely tíz másikra hasonlít.

Összefoglalás

• A feltérképezés után a keresőmotor dönti el, hogy egy oldal bekerül-e az indexbe; ez soha nem garantált, és nem is kell mindennek bekerülnie.
• Négy zár: 200-as státusz, nincs letiltva a robots.txt-ben, nincs noindex, a canonical hiányzik vagy önmagára mutat.
• A robots.txt a lekérést tiltja, nem a felvételt. Használjon noindexet, ha valamit távol akar tartani a találatoktól, és ezt az oldalt ne tiltsa le a robots.txt-ben.
• A canonical erős jelzés, nem parancs. Az ismétlődő tartalom nem spam, de nem hatékony.
• A „Feltérképezve, jelenleg nincs indexelve” nem technikai hiba; vizsgálja meg az oldal értékét.

Kvíz

Feladat

A1.3. feladat: Bekerülhet ez az oldal az indexbe? Adja meg egy oldal címét (a saját webhelye egyik oldalát, vagy egy olyan oldalt, amelyet szándékosan rejt el, például egy köszönőoldalt). Ezután válassza ki, mire számít: „bekerülhet az indexbe” vagy „nem kerülhet be az indexbe”, és ha a „nem kerülhet be” lehetőséget választja, melyik zár tartja vissza (státuszkód, robots.txt, noindex, másik címre mutató canonical). A program a leckében leírtak szerint végignézi a négy zárat, és az eredményét az Öné mellé teszi.

További olvasnivaló

• Google, A Google Keresés technikai követelményei: https://developers.google.com/search/docs/essentials/technical
• Google, Az indexelés letiltása a noindex segítségével: https://developers.google.com/search/docs/crawling-indexing/block-indexing
• Google, Bevezetés a robots.txt használatába: https://developers.google.com/search/docs/crawling-indexing/robots/intro
• Google, Ismétlődő URL-ek összevonása (kanonizálás): https://developers.google.com/search/docs/crawling-indexing/consolidate-duplicate-urls
• Google Search Console súgó, Oldalindexelési jelentés: https://support.google.com/webmasters/answer/7440203