Salli tai estä AI-crawlerit: robots.txt ja llms.txt
Tekoälypalvelut, kuten ChatGPT, Claude, Gemini ja Perplexity, hakevat verkkosivuja mallien kouluttamiseen, hakuvastausten antamiseen tai käyttäjän kysymykseen vastaamiseen. robots.txt-tiedostolla määrität, mitkä näistä boteista saavat vierailla sivustollasi. Lisäksi on olemassa llms.txt-ehdotus. Tässä artikkelissa kerrotaan, mitä botteja on olemassa, miten sallit tai estät ne ja mitä llms.txt tekee ja mitä ei. Käytämme esimerkkinä osoitetta example.com.
1. Tärkeimmät tekoälybotit
Useimmat tekoälyyritykset käyttävät eri nimiä koulutukselle, haulle ja käyttäjän pyynnöstä tehtävälle sivujen haulle. Näin voit esimerkiksi estää koulutuksen ja silti näkyä hakuvastauksissa.
| Nimi robots.txt-tiedostossa | Yritys | Käyttötarkoitus |
|---|---|---|
GPTBot | OpenAI | Kerää sivuja, joita voidaan käyttää mallien kouluttamiseen |
OAI-SearchBot | OpenAI | ChatGPT:n hakutoiminto. Jos estät tämän, sivustosi ei näy ChatGPT:n hakuvastauksissa |
ChatGPT-User | OpenAI | Hakee sivun, kun käyttäjä pyytää sitä. OpenAI:n mukaan robots.txt ei välttämättä koske tätä |
ClaudeBot | Anthropic | Kerää sivuja, joita voidaan käyttää mallien kouluttamiseen |
Claude-SearchBot | Anthropic | Indeksoi sivuja Clauden hakutoimintoa varten |
Claude-User | Anthropic | Hakee sivun, kun käyttäjä pyytää sitä |
Google-Extended | Ei erillinen botti vaan nimi, jolla kerrot, saako Google käyttää sisältöäsi Gemini-mallien kouluttamiseen ja groundingiin. Googlen mukaan tämä ei vaikuta sijoitukseesi Google-haussa | |
PerplexityBot | Perplexity | Näyttää sivustoja ja linkittää niihin Perplexityn hakutuloksissa, ei käytetä koulutukseen |
Perplexity-User | Perplexity | Hakee sivun, kun käyttäjä pyytää sitä. Perplexityn mukaan tämä ohittaa robots.txt:n yleensä |
Luettelo muuttuu säännöllisesti. Ajantasaiset nimet löydät OpenAI:n, Anthropicin, Googlen ja Perplexityn dokumentaatiosta.
2. Esimerkki robots.txt-tiedostosta
Tämä esimerkki estää mallien kouluttamisen, mutta sallii hakubotit ja tavalliset hakukoneet:
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: * Disallow: /ostoskori/ Sitemap: https://example.com/sitemap.xml
- Botti noudattaa vain omalla nimellään merkittyä ryhmää ja muuten ryhmää
*. Esimerkissä GPTBot ei siis pääse minnekään, eikäDisallow: /ostoskori/koske GPTBotia. - Jos haluat sallia kaikki tekoälybotit, sinun ei tarvitse tehdä mitään: ilman sääntöjä kaikki on sallittua.
- Jos estät vahingossa hakubotin, kuten
OAI-SearchBot,Claude-SearchBottaiPerplexityBot, sivustosi löytyy huonommin näistä tekoälyhakupalveluista. - Estäminen toimii vain jatkossa. Aiemmin haettua sisältöä et saa sillä takaisin.
public_html-kansiossa. Voit luoda tai muokata sen Tiedostonhallinnan tai FTP:n kautta. WordPress luo itse robots.txt-tiedoston niin kauan kuin tiedostoa ei ole olemassa, ja AI Builder lisää sen automaattisesti julkaisun yhteydessä. Lisää robots.txt:n toiminnasta voit lukea artikkelista Sivun pitäminen poissa Googlesta: robots.txt vai noindex?.3. Mikä on llms.txt?
llms.txt on vuonna 2024 esitetty ehdotus tekstitiedostosta osoitteessa https://example.com/llms.txt. Siihen kirjoitetaan Markdown-muodossa lyhyt kuvaus sivustosta ja linkit tärkeimmille sivuille, jotta tekoälypalvelu näkee nopeasti, mistä oikea tieto löytyy. Yksinkertainen esimerkki:
# Leipomo Esimerkki > Käsityöleipomo Tampereella: leipää, leivonnaisia ja tilauskakkuja. ## Tärkeät sivut - [Valikoima](https://example.com/assortiment): leivät, leivonnaiset ja kakut - [Tilaa](https://example.com/bestellen): kakun tilaus ja nouto - [Yhteystiedot](https://example.com/contact): osoite ja aukioloajat
Hyvä tietää:
- llms.txt ei ole virallinen standardi vaan ehdotus. Ei ole takeita siitä, että tekoälypalvelut lukevat tiedostoa. Google on ilmoittanut, ettei Google-haku hyödynnä sitä.
- llms.txt ei estä mitään. Jos haluat torjua botteja, käytä robots.txt-tiedostoa.
- Tiedosto ei synny itsestään: luot sen itse tai annat lisäosan luoda sen.
4. llms.txt-tiedoston luominen WordPressissä
Tunnetut SEO-lisäosat voivat luoda ja ylläpitää llms.txt-tiedostoa puolestasi:
- Yoast SEO: siirry kohtaan Yoast SEO, Asetukset, Sivuston ominaisuudet ja ota tekoälyominaisuuksista käyttöön llms.txt. Voit antaa Yoastin valita sivut tai valita ne itse.
- Rank Math: ota Rank Mathin Ohjauspaneelissa käyttöön moduuli LLMS Txt. Asetukset löytyvät sen jälkeen kohdasta Yleiset asetukset.
Valikoiden nimet vaihtelevat versioittain. Jos et näe vaihtoehtoa, päivitä lisäosa. Sen jälkeen voit tarkistaa tiedoston osoitteessa https://esimerkki.fi/llms.txt.
Ilman WordPressiä luot tiedoston itse: tekstitiedosto llms.txt public_html-kansioon, samoin kuin robots.txt.
Laajempi ohje kuvakaappauksineen: Sivustokartta ja robots.txt WordPressissä ja omalla sivustollasi ja Sivustokartta ja robots.txt AI Builderissa Löydy verkosta -oppaassa.
Haluatko oppia lisää? Käy maksuton Löydy verkosta -kurssi, oppitunti 3.3 robots.txt: mitä kannattaa estää ja mitä ei.