Moduuli 2 · 2.4
Page indexing -raportti ja URL-tarkistus
Moduuli 2: Search Console, Bing ja IndexNow · Lukuaika: 13 minuuttia
Oppimistavoite: Tämän oppitunnin jälkeen näet Page indexing -raportista, mitkä sivut eivät ole indeksissä ja miksi, osaat tutkia yksittäistä sivua URL-tarkistuksella (URL inspection) ja tiedät, mitä Request indexing, Removals ja Manual actions tekevät ja mitä eivät.
Keskeiset käsitteet: Page indexing -raportti, indeksoitu, ei indeksoitu, syyt, Validate fix, URL inspection, Test live URL, Request indexing (kiintiö), käyttäjän ilmoittama ja Googlen valitsema kanoninen URL, View tested page, Removals (tilapäinen), Manual actions, Security issues
Page indexing -raportti
Oppitunnilla 1.3 luit, että kaikki sivut eivät päädy indeksiin. Page indexing -raportti (valikossa kohdassa Indexing, Pages) näyttää, miten tämä toteutuu omalla sivustollasi. Ylhäällä on kaksi lukua: Indexed (indeksoitu) ja Not indexed (ei indeksoitu). Niiden alla on taulukko "Why pages aren't indexed" (miksi sivuja ei indeksoida), jossa on sivujen määrä syittäin.
Ensin tärkein asia: tavoitteena ei ole, että kaikki indeksoidaan. Google kirjoittaa itse, että sinun pitää huolehtia siitä, että jokaisen tärkeän sivun kanoninen versio on indeksissä, eikä sadan prosentin kattavuutta kannata odottaa. Sivustolla, jossa on tageja, suodattimia, hakusivuja ja muunnelmia, on aina sivuja, jotka eivät aiheellisesti ole indeksissä. Kysymys on siis aina: onko joukossa sivu, jonka kuuluisi olla indeksissä?
Syyt selkokielellä
| Syy raportissa | Mistä on kyse | Haittaako? |
|---|---|---|
| Server error (5xx) | Palvelin antoi virheen, kun Google kävi sivulla | Kyllä, jos virhe jatkuu. Selvitä asia palveluntarjoajasi kanssa |
| Redirect error | Uudelleenohjaus kiersi kehää, oli liian pitkä tai rikki | Kyllä: korjaa uudelleenohjaus (oppitunti 4.1) |
| Blocked by robots.txt | Robots.txt kieltää Googlea lukemasta sivua | Vain jos sivun pitäisi olla indeksissä (oppitunti 3.3) |
| Excluded by 'noindex' tag | Sivu itse pyytää, ettei sitä indeksoida | Vain jos se on vahinko |
| Soft 404 | Sivu palauttaa tilan 200, mutta näyttää "ei löytynyt" -sivulta tai on lähes tyhjä | Kyllä, jos kyseessä on oikea sivu: tee siitä hyödyllinen tai palauta oikea 404 |
| Not found (404) | Sivua ei ole (enää) | Yleensä ei. Jos siihen osoittaa linkkejä, ohjaa se uudelleen |
| Blocked due to unauthorized request (401) / Blocked due to access forbidden (403) | Sivu kysyy salasanaa tai torjuu Googlen | Vain jos sivun kuuluu olla julkinen |
| Page with redirect | Osoite ohjaa toiseen osoitteeseen | Ei, se on normaalia; kohdesivu indeksoidaan |
| Alternate page with proper canonical tag | Tämä sivu osoittaa canonicalilla toiseen sivuun | Ei, näin kuuluukin (oppitunti 3.5) |
| Duplicate without user-selected canonical | Google löysi kaksoiskappaleen ja valitsi itse | Tarkista, valitsiko Google oikein |
| Duplicate, Google chose different canonical than user | Sinä osoitit sivun A, Google valitsi sivun B | Selvitä syy (oppitunti 3.5) |
| Discovered - currently not indexed | Google tuntee osoitteen, mutta ei ole vielä indeksoinut sivua | Uudella sivustolla normaalia; kärsivällisyyttä ja sisäisiä linkkejä |
| Crawled - currently not indexed | Google luki sivun, mutta ei (vielä) ottanut sitä indeksiin | Tarkista, tuoko sivu oikeasti jotain lisää (oppitunti 7.3) |
Lisäksi on kaksi varoitusta: Indexed, though blocked by robots.txt (Google otti osoitteen indeksiin lukematta sisältöä, usein koska siihen osoittaa linkkejä) ja Page indexed without content (sivu indeksoitu ilman sisältöä).
Napsauta syytä nähdäksesi esimerkkiosoitteita. Kun olet korjannut jotain, voit valita Validate fix (vahvista korjaus). Google tarkistaa silloin uudelleen tunnetut osoitteet, joissa ongelma esiintyi; Googlen mukaan se kestää yleensä enintään noin kaksi viikkoa. Älä napsauta uudelleen yhä uudestaan: odota, kunnes vahvistus onnistuu tai epäonnistuu. Korjaus toimii muuten myös ilman vahvistusta; Google huomaa sen seuraavalla indeksointikerralla.
URL-tarkistus: yksi sivu suurennuslasin alla
Search Consolen yläreunassa on hakukenttä. Liitä siihen sivustosi täydellinen osoite, niin saat URL inspection -näkymän. Näet ensin, mitä Googlella on indeksissä: "URL is on Google" tai "URL is not on Google", ja kohdassa Page indexing muun muassa:
- milloin Google viimeksi indeksoi sivun ja Crawled as (mobiili- vai tietokoneindeksointirobotti);
- salliiko robots.txt indeksoinnin ja Indexing allowed? (onko sivulla noindex?);
- Page fetch: onnistuiko sivun noutaminen?
- User-declared canonical (käyttäjän ilmoittama kanoninen URL eli se, minkä laitoit canonicaliin) ja Google-selected canonical (Googlen valitsema kanoninen URL).
Tämä on indeksin tilanne, ei reaaliaikainen mittaus. Jos poistit juuri noindex-määrityksen, se näkyy tässä vielä.
Test live URL
Test live URL -toiminnolla Google noutaa sivun nyt. Näin tarkistat korjauksen heti. View tested page -kohdassa näet HTML:n JavaScriptin suorittamisen jälkeen, vastauksen otsakerivit, konsolin ilmoitukset ja onnistuneen testin jälkeen kuvakaappauksen. Sieltä näet, ovatko otsikkosi, canonicalisi tai rakenteiset tietosi oikeasti paikallaan, jos ne lisätään JavaScriptillä.
Huomaa: onnistunut reaaliaikainen testi ei ole lupaus. Testi ei arvioi laatua, päällekkäistä sisältöä eikä canonicalin valintaa.
Request indexing
Reaaliaikaisen testin jälkeen voit valita Request indexing (pyydä indeksointia). Google lisää sivun silloin indeksointijonoon. Kolme asiaa on hyvä tietää:
- Jokaisella propertylla on päivittäinen kiintiö. Kun sivuja on paljon kerralla, oikea tapa on sivustokartta (oppitunti 2.2).
- Saman sivun pyytäminen useaan kertaan ei nopeuta asiaa.
- Se ei ole tae: indeksointi voi kestää päivistä viikkoihin, ja sen jälkeen Google vielä päättää, otetaanko sivu indeksiin.
Käytä toimintoa siis uudelle tärkeälle sivulle tai korjauksen jälkeen, älä päivittäisenä rutiinina.
Voit tarkistaa vain osoitteita propertysta, jonka omistaja tai käyttäjä olet. Jos haluat tutkia jonkun toisen sivua, käytä julkisia työkaluja, kuten Rich Results Testiä (moduuli 5).
Kolme muuta raporttia, jotka kannattaa tuntea
Removals. Tällä poistat sivun tilapäisesti (noin kuudeksi kuukaudeksi) hakutuloksista, esimerkiksi jos verkossa oli vahingossa henkilötietoja. Sivu pysyy indeksissä. Jos haluat sen pysyvästi pois, varmista, että se palauttaa 404:n tai 410:n, on salasanan takana tai sillä on noindex. Robots.txt ei sovi tähän: estettyä sivua Google ei voi lukea, joten se ei myöskään näe noindexiä.
Manual actions. Manuaalinen toimenpide tarkoittaa, että Googlen työntekijä on todennut sivujen rikkovan roskapostikäytäntöjä (oppitunti 8.2), esimerkiksi piilotetulla tekstillä tai luonnottomilla linkeillä. Sivut voivat silloin laskea hakutuloksissa tai kadota niistä. Jos tässä ei ole ilmoitusta, kaikki on kunnossa. Jos ilmoitus on: korjaa asia kaikilla sivuilla ja lähetä sen jälkeen uudelleenarviointipyyntö.
Security issues. Tässä Google ilmoittaa, jos sivustosi näyttää hakkeroidulta tai levittää haittaohjelmia. Kävijät voivat silloin nähdä varoituksen. Kyse on kiireellisestä asiasta: katso korjausohjeet WordPress-kurssilta ja Safe online -kurssilta.
Käytännössä: uuden sivuston jälkeen
Lotte julkaisi uuden sivustonsa AI Builderilla ja unohti, että sivusto oli yhä asetettu tilaan "älä indeksoi". Viikon kuluttua hän näkee Page indexing -raportissa lähes kaiken kohdassa "Blocked by robots.txt". Hän kääntää kytkimen ja julkaisee sivuston uudelleen, tarkistaa kotisivunsa, näkee reaaliaikaisesta testistä, että indeksointi on nyt sallittu, ja pyytää indeksointia kotisivulle ja Bruidswerk-sivulle (hääkukat). Muiden sivujen osalta hän odottaa sivustokarttaa. WordPressissä sama sudenkuoppa on valintaruudussa "Estä hakukoneita indeksoimasta tätä sivustoa", muissa sivustotyökaluissa vastaavalla nimellä.
Yhteenveto
- Page indexing näyttää indeksoidut ja indeksoimattomat sivut syineen; kaiken ei tarvitse olla indeksissä.
- Lue jokainen syy kysymyksenä: kuuluuko tämä sivu indeksiin? Jos kuuluu, korjaa ja vahvista korjaus.
- URL-tarkistus näyttää indeksin tilanteen; Test live URL näyttää sivun nyt, myös JavaScriptin jälkeen.
- Request indexing -toiminnolla on kiintiö, toistaminen ei auta eikä se takaa mitään.
- Removals on tilapäinen; Manual actions- ja Security issues -raporttien kuuluu olla tyhjiä.
Tietovisa
Tehtävä
Tehtävä D2.4: Yhden sivun tarkistaminen. Valitse sivustosi tärkeä sivu (esimerkiksi palvelusivusi) ja tarkista se Search Consolessa. Kirjaa ylös, onko se indeksoitu, milloin se viimeksi indeksoitiin, minkä canonicalin sinä ilmoitit ja minkä Google valitsi. Tee sen jälkeen reaaliaikainen testi, avaa testattu sivu ja tarkista, onko otsikko HTML:ssä. Katso lopuksi Page indexing -raportista, mikä syy esiintyy useimmin ja onko joukossa sivuja, joiden kuuluisi olla indeksissä.
Tehtävä D2.4: Yhden sivun tarkistaminen
Eikö sinulla ole omaa sivustoa tai yritystä? Tee tehtävä paperilla tai ohita se. Todistukseen vaikuttaa vain koe.
Esimerkki: /bruidswerk/ on indeksoitu, ja molemmat kanoniset osoitteet ovat samat. Yleisin syy: sivu, jolla on uudelleenohjaus (14), eli vanhat http-osoitteet. Niiden ei kuulu olla indeksissä.
Merkintäsi ja muistiinpanosi pysyvät vain tässä selaimessa, emme lähetä niitä minnekään. Jos olet kirjautunut sisään, tallennamme kohtaan Omat kurssit vain sen, että olet tehnyt tehtävän.
Lisälukemista
- Google, Page indexing -raportti (hollanninkielinen ohje): https://support.google.com/webmasters/answer/7440203?hl=nl
- Google, URL inspection -työkalu (hollanninkielinen ohje): https://support.google.com/webmasters/answer/9012289?hl=nl
- Google Search Central, URL-osoitteiden uudelleenindeksoinnin pyytäminen Googlelta: https://developers.google.com/search/docs/crawling-indexing/ask-google-to-recrawl
- Google, Removals-työkalu (hollanninkielinen ohje): https://support.google.com/webmasters/answer/9689846?hl=nl
- Google, Manual actions -raportti (hollanninkielinen ohje): https://support.google.com/webmasters/answer/9044175?hl=nl