Indeksointi: mikä pääsee indeksiin ja mikä ei

Moduuli 1: Miten hakukoneet toimivat · Lukuaika: 11 minuuttia

Oppimistavoite: Tämän oppitunnin jälkeen osaat arvioida, voiko sivu päästä indeksiin, ja jos ei voi, mikä neljästä "lukosta" sen estää: tilakoodi, robots.txt, noindex vai canonical.

Keskeiset käsitteet: indeksointi, Googlen tekniset vaatimukset, noindex (meta robots ja X-Robots-Tag), robots.txt ei ole noindex, kanonisointi, päällekkäinen sisältö, soft 404, "Crawled - currently not indexed", "Discovered - currently not indexed", ei takuuta

Mitä indeksoinnissa tapahtuu

Kun hakurobotti on hakenut sivun (oppitunti 1.2), hakukone lukee sen. Google analysoi tekstin, otsikon, väliotsikot, kuvat ja videot sekä päättelee, millä kielellä sivu on. Google selvittää myös, onko sivu kopio jostain toisesta sivusta ja mikä kopioista on se "oikea". Vasta sen jälkeen Google päättää, otetaanko sivu indeksiin.

Google sanoo tästä kaksi asiaa, jotka kannattaa muistaa:

• Indeksiin pääsy ei ole taattua. Vaikka sivusi täyttäisi kaikki vaatimukset, Google voi päättää jättää sen pois.
• On normaalia, ettei kaikkea ole indeksoitu. Google kirjoittaa indeksointiraportin ohjeissa suoraan, ettei pidä odottaa jokaisen sivustosi osoitteen olevan indeksissä ja että se voi olla täysin kunnossa. Tärkeintä ovat tärkeät sivusi.

Kolme teknistä vaatimusta

Google mainitsee kolme teknistä vaatimusta, jotta sivu voi päästä indeksiin:

1. Googlebotia ei estetä. Sivu on saatavilla, eikä robots.txt kiellä sen hakemista.
2. Sivu toimii. Palvelin palauttaa tilakoodin 200, ei virhettä.
3. Sivulla on indeksoitavaa sisältöä. Tekstiä tiedostomuodossa, jota Google pystyy lukemaan, eikä se riko roskapostikäytäntöjä.

Käytännössä mukaan tulee lisäksi kaksi sivuston omistajan valintaa: noindex ("älä ota tätä mukaan") ja canonical, joka osoittaa toiseen osoitteeseen ("ei tämä vaan tuo"). Yhteensä siis neljä lukkoa, joiden läpi sivun on päästävä.

Lukko 1: tilakoodi

Vain sivu, jonka tila on 200, voi päästä indeksiin. 301 tai 308 ohjaa hakukoneen uuteen osoitteeseen, ja silloin arvioidaan uusi osoite. 404 tai 410 poistaa aiemmin indeksoidun osoitteen indeksistä.

Hankala tapaus on oppitunnin 1.2 soft 404: tila on 200, mutta sisältö on virheilmoitus tai lähes tyhjä sivu. Google tunnistaa tämän usein eikä ota sivua mukaan. Myös verkkokaupan tyhjä tuoteryhmäsivu ("tuotteita ei löytynyt") voidaan tulkita soft 404:ksi.

Lukko 2: robots.txt

robots.txt-tiedostolla kiellät hakurobottia hakemasta sivua. Se on eri asia kuin kieltää sivun ottaminen indeksiin. Google sanoo tämän selvästi: robots.txt ei ole keino pitää sivua poissa Googlesta. Jos muut sivustot linkittävät estettyyn sivuun, osoite voi silti näkyä tuloksissa, vain ilman kuvausta. Search Consolessa tämä on "Indexed, though blocked by robots.txt".

robots.txt on tarkoitettu hakuliikenteen ohjaamiseen, esimerkiksi estämään, ettei hakurobotti käy läpi tuhansia sivustosi omia hakutulossivuja. Oppitunti 3.3 käsittelee aihetta tarkemmin.

Lukko 3: noindex

Jos haluat todella, ettei sivu näy hakutuloksissa, käytä noindex-ohjetta. Sen voi tehdä kahdella tavalla, ja vaikutus on sama:

<!-- sivun <head>-osassa -->
<meta name="robots" content="noindex">

X-Robots-Tag: noindex

Toinen tapa on HTTP-otsake, jonka palvelin lähettää mukana. Se toimii myös tiedostoille, jotka eivät ole HTML:ää, kuten pdf-tiedostoille. Arvo none tarkoittaa samaa kuin noindex, nofollow. Ohjeella <meta name="googlebot" content="noindex"> sääntö koskee vain Googlea; muut hakukoneet voivat tulkita yleisen säännön eri tavalla.

Tässä on hyvin yleinen sudenkuoppa: noindex ja robots.txt-esto eivät toimi yhdessä. Jos robots.txt estää sivun, Google ei hae sitä eikä siksi koskaan näe noindex-ohjetta. Sivu voi silloin päätyä indeksiin muiden linkkien kautta. Jos haluat sivun pois Googlesta, anna Googlen hakea se ja lisää sivulle noindex.

Missä noindex tulee vastaan vahingossa?

• WordPressissä kohdassa Settings, Read on valintaruutu "Discourage search engines from indexing this site". Se lisää noindexin koko sivustolle. Kätevä rakennusvaiheessa, tuhoisa, jos unohdat poistaa sen käytöstä.
• AI Builderissa voit asettaa sivuston tai sivun tilaan "älä indeksoi"; silloin sivulle tulee noindex, nofollow. Myöskään ilmaista demosivustoa ei koskaan indeksoida.
• SEO-lisäosa tai teema, jossa on väärä asetus sivukohtaisesti tai sivutyypeittäin.

Muissa sivustotyökaluissa on vastaavia kytkimiä, usein nimellä kuten "piilota hakukoneilta".

Lukko 4: canonical

Monella sivustolla sama sivu löytyy useasta osoitteesta: www-alun kanssa ja ilman, http- ja https-osoitteella, perässä parametri kuten ?utm_source=nieuwsbrief. Google valitsee tällaisesta ryhmästä yhden osoitteen kanoniseksi versioksi ja näyttää tuloksissa vain sen. Muut ovat kaksoiskappaleita.

Voit auttaa Googlea valitsemaan uudelleenohjauksella (vahva signaali) tai sivulla olevalla canonical-viittauksella:

<link rel="canonical" href="https://www.example.com/bruidsboeketten">

Canonical on signaali, ei käsky: Google voi valita toisen osoitteen. Jos canonical osoittaa toiseen osoitteeseen, sivu sanoo itse: "älä ota minua mukaan, vaan tuo toinen". Se on hyvä, kun se pitää paikkansa, ja ongelma, jos se on virhe, esimerkiksi kun jokainen sivu osoittaa etusivulle. Oppitunti 3.5 jatkaa tästä.

Googlen mukaan päällekkäinen sisältö omalla sivustollasi ei riko roskapostikäytäntöjä eikä johda manuaaliseen toimenpiteeseen. Se on kuitenkin tehotonta: hakurobotit hakevat saman sisällön useammin, etkä itse päätä, mikä osoite näkyy tuloksissa.

Search Consolen ilmoitukset

Search Consolen Pages-raportissa (oppitunti 2.4) näet jokaiselle indeksoimattomalle sivulle syyn. Kaikki neljä lukkoa näkyvät siellä:

Kaksi viimeistä eivät ole teknisiä virheitä. "Crawled - currently not indexed" on yleinen; Googlen mukaan se ei aina ole ongelma. Jos kyse on tärkeästä sivusta, katso, tuoko se oikeasti jotain lisää: ainutlaatuisella, hyödyllisellä sivulla on paremmat mahdollisuudet kuin ohuella sivulla, joka muistuttaa kymmentä muuta.

Yhteenveto

• Haun jälkeen hakukone päättää, pääseekö sivu indeksiin; se ei ole koskaan taattua, eikä kaiken tarvitse olla siellä.
• Neljä lukkoa: tila 200, ei estetty robots.txt-tiedostossa, ei noindexiä, canonical puuttuu tai osoittaa sivuun itseensä.
• robots.txt kieltää hakemisen, ei indeksointia. Käytä noindexiä pitääksesi jotain poissa tuloksista, äläkä silloin estä sivua robots.txt-tiedostossa.
• Canonical on vahva signaali, ei käsky. Päällekkäinen sisältö ei ole roskapostia, mutta se on tehotonta.
• "Crawled - currently not indexed" ei ole tekninen virhe; arvioi sivun arvo.

Tietovisa

Tehtävä

Tehtävä A1.3: Saako tämä sivu olla indeksissä? Syötä sivun osoite (oman sivustosi sivu tai sivu, jonka piilotat tarkoituksella, kuten kiitossivu). Valitse sitten odotuksesi: "saa olla indeksissä" tai "ei saa olla indeksissä", ja jos valitset "ei saa", mikä lukko sen estää (tilakoodi, robots.txt, noindex, canonical toiseen osoitteeseen). Ohjelma käy läpi neljä lukkoa tämän oppitunnin tapaan ja vertaa tulostaan omaasi.

Lisälukemista

• Google, Google-haun tekniset vaatimukset: https://developers.google.com/search/docs/essentials/technical
• Google, Indeksoinnin estäminen noindex-ohjeella: https://developers.google.com/search/docs/crawling-indexing/block-indexing
• Google, Johdatus robots.txt-tiedostoon: https://developers.google.com/search/docs/crawling-indexing/robots/intro
• Google, Päällekkäisten URL-osoitteiden yhdistäminen (kanonisointi): https://developers.google.com/search/docs/crawling-indexing/consolidate-duplicate-urls
• Google Search Consolen ohje, sivujen indeksointiraportti (Page indexing): https://support.google.com/webmasters/answer/7440203