Sivun pitäminen poissa Googlesta: robots.txt vai noindex?
Haluatko pitää sivun poissa Googlesta, esimerkiksi kiitossivun, testisivun tai vanhan kampanjan? Moni ajattelee silloin robots.txt-tiedostoa. robots.txt ei kuitenkaan pidä sivua poissa Googlesta. Siihen tarvitaan noindex. Tässä artikkelissa kerrotaan, mikä ero niillä on, miten käytät kumpaakin ja mitä teet poistamallesi sivulle. Käytämme esimerkkinä osoitetta example.com.
Ero lyhyesti
| robots.txt | noindex | |
|---|---|---|
| Mitä se sanoo | "Älä hae tätä sivua." | "Älä ota tätä sivua mukaan hakutuloksiin." |
| Pitääkö se sivun poissa Googlesta? | Ei. Jos muut linkittävät sivulle, osoite voi silti näkyä ilman kuvausta. | Kyllä, kun Google on käynyt sivulla uudelleen. |
| Missä se on? | Yksi tiedosto osoitteessa https://example.com/robots.txt | Itse sivulla tai otsakerivinä, jonka palvelin lähettää |
| Mihin sitä käytetään? | Indeksointirobottien ohjaamiseen, esimerkiksi oman sivustosi hakutulossivujen ohittamiseen | Sivuille, joiden pitää pysyä saatavilla, mutta jotka eivät kuulu Googleen |
Kumpikaan ei ole tietoturvakeino. Kuka tahansa voi lukea robots.txt-tiedostosi, ja noindex-sivu on edelleen saatavilla. Jos jokin pitää todella suojata, laita se salasanan taakse. Katso Kansion suojaaminen salasanalla DirectAdminissa.
noindexin käyttö
Lisää tämä rivi sivun <head>-osioon:
<meta name="robots" content="noindex">
Muille kuin HTML-tiedostoille, kuten pdf:lle, palvelin voi lähettää saman ohjeen otsakerivinä: X-Robots-Tag: noindex. Vaikutus on sama.
Yleensä sinun ei tarvitse kirjoittaa tätä itse:
- AI Builder: avaa SEO-osio, valitse sivu ja kytke kohdassa Lisää tälle sivulle pois päältä kytkin Tämä sivu löytyy Googlesta. Sivu pysyy saatavilla, mutta saa noindexin. Julkaise sen jälkeen uudelleen.
- WordPress: SEO-lisäosassa on sivukohtainen asetus, jolla sivu jätetään indeksoimatta. Valintaruutu Estä hakukoneita indeksoimasta tätä sivustoa kohdassa Asetukset, Lukeminen koskee koko sivustoa.
- Muut sivustotyökalut: etsi asetusta, kuten "piilota hakukoneilta".
robots.txt-tiedoston luominen tai muokkaaminen
Webhotellissa robots.txt on verkkotunnuksesi verkkokansiossa, DirectAdminissa kansiossa public_html. Luot tai muokkaat tiedostoa File Managerin tai FTP:n kautta, katso File Managerin avaaminen: pakettisi kansiot. Esimerkki:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *koskee kaikkia hakurobotteja.Disallow:polun kanssa kieltää kaiken, mikä alkaa kyseisellä polulla.Disallow: /kieltää koko sivuston.- Jos luot myös ryhmän
User-agent: Googlebot, Google noudattaa vain sitä ryhmää ja ohittaa ryhmän*. Toista siis siellä kaikki säännöt, jotka koskevat myös Googlea. - Älä estä kansioita, joissa on sivusi tarvitsemia tyylitiedostoja, skriptejä tai kuvia.
- Jos robots.txt-tiedostoa ei ole, se ei ole ongelma: silloin kaikki on sallittua. Jos osoite antaa palvelinvirheen, Google lopettaa hakemisen tilapäisesti.
WordPress luo itse robots.txt-tiedoston niin kauan kuin verkkokansiossa ei ole tiedostoa. AI Builder lisää julkaisun yhteydessä itse robots.txt-tiedoston, jossa on Sitemap:-rivi.
Laajempi ohje kuvakaappauksineen: Sivustokartta ja robots.txt AI Builderissa ja Sivustokartta ja robots.txt WordPressissä ja omalla sivustollasi oppaassa Löydy verkosta.
Google säilyttää robots.txt-tiedostosi yleensä enintään 24 tuntia. Search Consolessa löydät kohdasta Asetukset robots.txt-raportin: mikä versio Google on viimeksi hakenut, virheet ja varoitukset sekä painikkeen, jolla tiedoston voi hakea uudelleen.
Poistettu sivu: 404 tai 410, ei soft 404
Jos olet poistanut sivun, osoitteen pitää antaa tilakoodi 404 (ei löydy) tai 410 (poistettu). Seuraavalla käynnillä Google poistaa osoitteen hakutuloksista. Jos sivulla on seuraaja, ohjaa vanha osoite 301-uudelleenohjauksella uudelle sivulle, katso Site Redirection: verkkotunnuksen tai sivun uudelleenohjaus.
Soft 404 on sivu, joka kertoo, ettei sitä ole, tai joka on lähes tyhjä, mutta antaa silti koodin 200 (löytyi). Google tunnistaa tämän usein eikä ota tällaista sivua mukaan. Search Consolessa näet sen syynä Pehmeä 404. Myös kaikkien poistettujen sivujen ohjaaminen etusivulle voidaan tulkita soft 404:ksi. Anna siis todella poistetun sivun antaa oikea 404 tai 410.
Pitääkö sivu saada nopeasti pois tuloksista, esimerkiksi koska siinä oli vahingossa henkilötietoja? Käytä silloin Search Consolen Poistot-toimintoa. Se toimii tilapäisesti, noin kuusi kuukautta. Varmista siksi myös, että sivulla on 404, 410, salasana tai noindex.
Lue lisää
- Google: Indeksoinnin estäminen noindexillä (englanniksi)
- Google: Johdatus robots.txt-tiedostoon (englanniksi)
- Google: robots.txt-raportti
- Tiedostojen estäminen .htaccessin avulla
Käytätkö WordPressiä? Ilmaisen WordPress-kurssin oppitunnilla Löydettävyys: perusteet kerrotaan lisää robots.txt-tiedostosta ja hakukoneiden estämisen valintaruudusta.
Haluatko oppia lisää? Osallistu ilmaiselle Löydy verkosta -kurssille, oppitunti 3.3 robots.txt: mitä estää ja mitä ei.
Haluatko oppia lisää? Käy ilmainen kurssi Löydettävyys verkossa, oppitunti 3.3 robots.txt: mitä estät ja mitä et.