AI-crawlerek engedélyezése vagy tiltása: robots.txt és llms.txt
Az olyan AI-szolgáltatások, mint a ChatGPT, a Claude, a Gemini és a Perplexity, weboldalakat töltenek le: modellek tanításához, keresési válaszokhoz vagy egy felhasználói kérdés megválaszolásához. A robots.txt segítségével megadhatja, hogy ezek közül mely robotok látogathatják a webhelyét. Emellett létezik az llms.txt javaslat is. Ebben a cikkben megtudhatja, milyen robotok léteznek, hogyan engedélyezheti vagy tilthatja le őket, és mire képes, illetve mire nem képes az llms.txt. Példaként az example.com címet használjuk.
1. A legfontosabb AI-robotok
A legtöbb AI-cég külön neveket használ a tanításhoz, a kereséshez és a felhasználó kérésére történő letöltéshez. Így például letilthatja a tanítást, miközben továbbra is megjelenik a keresési válaszokban.
| Név a robots.txt-ben | Szolgáltató | Mire szolgál |
|---|---|---|
GPTBot | OpenAI | Olyan oldalak gyűjtése, amelyek modellek tanítására használhatók |
OAI-SearchBot | OpenAI | A ChatGPT keresőfunkciója. Ha ezt letiltja, webhelye nem jelenik meg a ChatGPT keresési válaszaiban |
ChatGPT-User | OpenAI | Egy oldal letöltése, ha egy felhasználó ezt kéri. Az OpenAI szerint itt a robots.txt esetleg nem érvényes |
ClaudeBot | Anthropic | Olyan oldalak gyűjtése, amelyek modellek tanítására használhatók |
Claude-SearchBot | Anthropic | Oldalak indexelése a Claude keresőfunkciójához |
Claude-User | Anthropic | Egy oldal letöltése, ha egy felhasználó ezt kéri |
Google-Extended | Nem önálló robot, hanem egy név, amellyel jelezheti, hogy a Google felhasználhatja-e a tartalmát a Gemini-modellek tanításához és a groundinghoz. A Google szerint ez nem befolyásolja a helyezését a Google Keresőben | |
PerplexityBot | Perplexity | Webhelyek megjelenítése és linkelése a Perplexity keresési találataiban, nem tanításhoz |
Perplexity-User | Perplexity | Egy oldal letöltése, ha egy felhasználó ezt kéri. A Perplexity szerint ez a robot általában figyelmen kívül hagyja a robots.txt-t |
A lista rendszeresen változik. Az aktuális neveket megtalálja az OpenAI, az Anthropic, a Google és a Perplexity dokumentációjában.
2. Példa robots.txt
Ez a példa letiltja a modellek tanítását, de engedélyezi a keresőrobotokat és a hagyományos keresőmotorokat:
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: * Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
- Egy robot csak a saját nevét tartalmazó csoportot követi, ennek hiányában pedig a
*csoportot. A példában tehát a GPTBot sehová sem léphet be, és aDisallow: /winkelmand/szabály a GPTBotra nem vonatkozik. - Ha minden AI-robotot engedélyezni szeretne, nincs teendője: szabályok nélkül minden engedélyezett.
- Ha véletlenül letilt egy keresőrobotot, például az
OAI-SearchBot, aClaude-SearchBotvagy aPerplexityBotrobotot, akkor ezekben az AI-keresőszolgáltatásokban nehezebben lesz megtalálható. - A letiltás csak a jövőre vonatkozik. Amit már korábban letöltöttek, azt ezzel nem kapja vissza.
public_html mappájában található. A Fájlkezelőben vagy FTP-n keresztül hozhatja létre vagy szerkesztheti. A WordPress automatikusan készít egy robots.txt-t, amíg nincs ilyen fájl, az AI Builder pedig közzétételkor maga helyez el egyet. A robots.txt további működéséről itt olvashat: Hogyan tartható távol egy oldal a Google-tól: robots.txt vagy noindex?3. Mi az llms.txt?
Az llms.txt egy 2024-es javaslat egy szöveges fájlra a https://example.com/llms.txt címen. Ebben Markdown formátumban rövid leírást ad a webhelyéről, és linkeket a legfontosabb oldalakra, hogy egy AI-szolgáltatás gyorsan lássa, hol található a megfelelő információ. Egy egyszerű példa:
# Példa Pékség > Kézműves pékség Szegeden, kenyérrel, péksüteményekkel és rendelésre készülő tortákkal. ## Fontos oldalak - [Kínálat](https://example.com/assortiment): kenyér, péksütemények és torták - [Rendelés](https://example.com/bestellen): torta rendelése és átvétele - [Kapcsolat](https://example.com/contact): cím és nyitvatartás
Jó tudni:
- Az llms.txt nem hivatalos szabvány, hanem javaslat. Nincs garancia arra, hogy az AI-szolgáltatások beolvassák a fájlt. A Google jelezte, hogy a Google Kereső nem használja.
- Az llms.txt semmit sem tilt le. Ha robotokat szeretne kizárni, használja a robots.txt-t.
- A fájl nem jön létre magától: Önnek kell elkészítenie, vagy egy bővítménnyel létrehoznia.
4. llms.txt létrehozása WordPressben
A népszerű SEO-bővítmények el tudják készíteni és naprakészen tudják tartani az llms.txt fájlt:
- Yoast SEO: nyissa meg a Yoast SEO, Beállítások, Webhely funkciók menüpontot, és az AI-funkcióknál kapcsolja be az llms.txt opciót. Az oldalakat kiválaszthatja a Yoast, vagy megadhatja Ön is.
- Rank Math: a Rank Math Vezérlőpult felületén kapcsolja be az LLMS Txt modult. A beállításokat ezután az Általános beállítások menüpontban találja.
A menük neve verziónként eltérhet. Ha nem látja az opciót, frissítse a bővítményt. Ezután a fájlt a https://sajatdomain.hu/llms.txt címen tekintheti meg.
WordPress nélkül a fájlt saját maga hozza létre: egy llms.txt nevű szöveges fájlt a public_html mappában, ugyanúgy, mint a robots.txt-t.
Részletes leírás képernyőképekkel az Online megtalálhatóság útmutatóban: Sitemap és robots.txt a WordPressben és a saját webhelyen, valamint Sitemap és robots.txt az AI Builderben.
Szeretne többet megtudni? Végezze el az ingyenes Online megtalálhatóság tanfolyamot, ezen belül a 3.3 robots.txt: mit érdemes letiltani, és mit nem leckét.