Sivustokartta ja robots.txt WordPressissä ja omalla sivustollasi

Sivustokartta on luettelo osoitteista, jotka haluat hakukoneisiin. Robots.txt kertoo hakukoneille, missä osoitteissa ne eivät saa käydä ja missä sivustokarttasi on. Näin tarkistat ne WordPressissä ja itse tekemälläsi sivustolla.

WordPress

WordPress tekee versiosta 5.5 lähtien itse sivustokartan ja robots.txt-tiedoston:

• Sivustokartta on osoitteessa https://jouwdomein.nl/wp-sitemap.xml.
• Robots.txt on virtuaalinen: verkkokansiossasi ei ole tiedostoa, mutta WordPress näyttää sen osoitteessa https://jouwdomein.nl/robots.txt, ja siinä on viittaus sivustokarttaan.
• Käytätkö SEO-lisäosaa, kuten Yoast SEO:ta tai Rank Mathia? Silloin se tekee usein oman sivustokartan, esimerkiksi sitemap_index.xml. Osoitteen löydät lisäosan asetuksista. Lähetä tämä osoite Googlelle ja Bingille.

WordPressin oletusarvoinen robots.txt näyttää suunnilleen tältä:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://jouwdomein.nl/wp-sitemap.xml

Estääkö WordPress hakukoneita?

1. Kirjaudu WordPressiin ja siirry kohtaan Asetukset ja sitten Luku.
2. Katso hakukoneiden näkyvyyden kohdalta valintaruutua Estä hakukoneita indeksoimasta tätä sivustoa.
3. Valintaruudun pitää olla tyhjä. Napsauta Tallenna muutokset.

Jos ruutu on valittuna, WordPress pyytää hakukoneita ohittamaan koko sivustosi. Se valitaan usein sivustoa rakennettaessa ja unohdetaan sen jälkeen.

Lisää löydettävyydestä WordPressissä voit lukea artikkelista Löydettävyys: perusteet.

Oma robots.txt

Jos lisäät itse robots.txt-tiedoston verkkokansioosi, se menee WordPressin virtuaalisen robots.txt:n edelle. WebOkén webhotellipaketissa verkkokansio on verkkotunnuksesi public_html. Voit lisätä tiedoston sinne DirectAdminin File Managerilla (katso File Managerin avaaminen: pakettisi kansiot) tai FTP:llä.

Yksinkertainen robots.txt, joka sallii kaiken ja osoittaa sivustokarttaasi:

User-agent: *
Allow: /
Sitemap: https://jouwdomein.nl/sitemap.xml

Itse tekemäsi sivusto

Teetkö sivustosi itse tai jollain muulla ohjelmalla? Tarkista silloin, tekeekö ohjelma sivustokartan. Jos ei, pärjäät ilmankin: pieni sivusto, jonka sivujen välillä on hyvät linkit, löytyy myös. Sivustokartasta on kuitenkin apua. Lisää se verkkokansioosi ja mainitse se robots.txt-tiedostossasi, kuten yllä.

Tarkistaminen

• Avaa https://jouwdomein.nl/robots.txt. Onko rivin User-agent: * alla Disallow: /? Silloin mikään hakukone ei saa käydä sivustollasi. Poista tämä rivi, kun sivustosi on valmis.
• Onko tiedostossa rivi Sitemap:? Avaa sen osoite selaimessasi. Sinun pitäisi nähdä luettelo sivustosi osoitteista, joissa on https ja oma verkkotunnuksesi.

Vinkki: robots.txt ei pidä sivua poissa Googlesta. Sivu, jolla ei saa käydä, voi silti päätyä hakutuloksiin, jos muut sivustot linkittävät siihen. Jos haluat todella pitää sivun poissa Googlesta, käytä noindexiä. Eron voit lukea Online-löydettävyys-kurssin oppitunnilta robots.txt: mitä estät ja mitä et.