Googlen pitäminen pois hakemistosta: robots.txt vai noindex?

Etkö halua sivua Googleen, esimerkiksi kiitossivua, testisivua tai vanhaa kampanjaa? Moni ajattelee silloin tiedostoa robots.txt. Mutta robots.txt ei pidä sivua poissa Googlesta. Siihen tarvitaan noindex. Tässä artikkelissa luet eron, miten käytät molempia ja mitä teet sivulle, jonka olet poistanut. Käytämme esimerkkinä example.com.

Ero lyhyesti

Kumpikaan ei ole suojaus. Kuka tahansa voi lukea robots.txt-tiedostosi, ja noindex-sivu pysyy silti saavutettavissa. Jos jotain pitää todella suojata, laita se salasanan taakse. Katso Kansion suojaaminen salasanalla DirectAdmin:ssa.

noindexin käyttäminen

Lisää tämä rivi sivun <head>-osioon:

<meta name="robots" content="noindex">

Tiedostoille ilman HTML:ää, kuten pdf, palvelin voi lähettää saman ohjeen otsikkorivinä: X-Robots-Tag: noindex. Vaikutus on sama.

Yleensä sinun ei tarvitse kirjoittaa tätä itse:

• AI Builder: avaa osio SEO, valitse sivu ja poista kytkin Tämä sivu löydettävissä Googlessa päältä kohdassa Lisää tälle sivulle. Sivu pysyy saavutettavissa, mutta saa noindexin. Julkaise sen jälkeen uudelleen.
• WordPress: SEO-lisäosassa on sivukohtainen asetus, jolla sivua ei indeksoida. Valintaruutu Estä hakukoneita indeksoimasta tätä sivustoa kohdassa Asetukset, Lukeminen koskee koko sivustoa.
• Muut sivustotyökalut: etsi asetusta nimeltä "piilota hakukoneilta".

robots.txt:n luominen tai muokkaaminen

Hostingpaketissa robots.txt sijaitsee domainisi webkansiossa, DirectAdmin:ssa kansiossa public_html. Luot tai muokkaat tiedostoa Tiedostonhallinnan tai FTP:n kautta, katso Tiedostonhallinnan avaaminen: pakettisi kansiot. Esimerkki:

User-agent: *
Disallow: /zoeken
Disallow: /winkelmand/

Sitemap: https://example.com/sitemap.xml

• User-agent: * koskee kaikkia hakurobotteja. Disallow: ja polku kieltää kaiken, joka alkaa sillä polulla. Disallow: / kieltää koko sivuston.
• Jos luot myös ryhmän User-agent: Googlebot, Google noudattaa vain sitä ryhmää ja jättää huomiotta ryhmän *. Toista siis siellä kaikki säännöt, jotka koskevat myös Googlea.
• Älä estä kansioita, joissa on tyylitiedostoja, skriptejä tai kuvia, joita sivusi tarvitsee.
• Jos robots.txt:tä ei ole, se ei ole ongelma: silloin kaikki on sallittua. Jos osoite antaa palvelinvirheen, Google lopettaa hetkeksi hakemisen.

WordPress luo itse robots.txt:n, kunhan webkansiossa ei ole tiedostoa. AI Builder lisää julkaisun yhteydessä itse robots.txt:n, jossa on Sitemap:-rivi.

Google tallentaa robots.txt:si yleensä 24 tunniksi. Search Consolessa löydät kohdasta Asetukset robots.txt-raportin: minkä version Google on viimeksi hakenut, mahdolliset virheet ja varoitukset, sekä painikkeen, jolla sen voi hakea uudelleen.

Poistettu sivu: 404 tai 410, ei soft 404

Jos olet poistanut sivun, osoitteen pitäisi antaa statuskoodi 404 (ei löytynyt) tai 410 (poistettu). Seuraavalla käynnillä Google poistaa osoitteen hakutuloksista. Jos sivulla on seuraaja, ohjaa vanha osoite 301-uudelleenohjauksella uuteen sivuun, katso Site Omleiden: domainin tai sivun uudelleenohjaus.

Soft 404 on sivu, joka kertoo, ettei sitä ole, tai on lähes tyhjä, mutta antaa silti koodin 200 (löytyi). Google tunnistaa tämän usein eikä ota tällaista sivua mukaan. Search Consolessa näet sen syynä Soft 404. Myös kaikkien poistettujen sivujen ohjaaminen etusivulle voi näkyä soft 404:nä. Anna siis sivun, joka on todella poistunut, antaa oikea 404 tai 410.

Pitääkö sivun poistua tuloksista nopeasti, esimerkiksi koska siinä oli vahingossa henkilötietoja? Käytä silloin Search Consolen kohtaa Poistot. Se toimii väliaikaisesti, noin kuusi kuukautta. Varmista siis myös, että sivulla on 404, 410, salasana tai noindex.

Lue lisää

• Google: Indeksoinnin estäminen noindexillä (englanniksi)
• Google: Johdatus robots.txt:ään (englanniksi)
• Google: robots.txt-raportti
• Tiedostojen estäminen .htaccess-tiedostolla

Käytätkö WordPressia? Oppitunnissa Löydettävyys: perusteet ilmaisessa WordPress-kurssissa luet lisää robots.txt:stä ja Estä hakukoneita -valintaruudusta.