Wat betekent crawlen en indexeren?

Wat betekenen crawlen en indexeren?

Google gebruikt een programma dat websites bezoekt: Googlebot. Dat bezoeken en lezen van pagina’s heet crawlen. Googlebot volgt links van pagina naar pagina en leest de sitemaps die website-eigenaren aanbieden.

Wat Google heeft gelezen en begrepen, slaat het op in de index. Dat is een enorm overzicht van pagina’s, een soort catalogus. Het opnemen van een pagina in die catalogus heet indexeren.

Alleen pagina’s in de index kunnen in de zoekresultaten verschijnen. Een pagina die niet gecrawld wordt, komt niet in de index. En een pagina die niet in de index staat, kan nergens op gevonden worden.

Hoe komt een pagina in de zoekresultaten?

Een pagina doorloopt vier fasen:

1. Crawlen. Google volgt links en sitemaps en haalt de pagina op. Wat niet bereikbaar is, bestaat voor Google niet.
2. Renderen. Google voert de pagina uit zoals een browser dat doet, inclusief JavaScript, om te zien wat een bezoeker ziet.
3. Indexeren. Google begrijpt de inhoud en slaat die op. Hier bepaalt Google waar de pagina over gaat.
4. Vertonen. Bij een zoekopdracht kiest Google uit de index welke pagina’s het beste antwoord geven, en in welke volgorde.

Waarom wordt een pagina niet geïndexeerd?

De meest voorkomende oorzaken:

• Er staat een noindex-instructie op de pagina, vaak per ongeluk. Die vraagt zoekmachines de pagina niet op te nemen.
• De robots.txt blokkeert de pagina, zodat Google hem niet mag crawlen. Lees wat een robots.txt is en wat erin hoort.
• Een canonieke URL wijst naar een andere pagina. Daarmee zeg je tegen Google dat die andere pagina het origineel is.
• De inhoud is te dun of bijna hetzelfde als die van een andere pagina.
• Er linken te weinig andere pagina’s van je website naar de pagina, waardoor Google hem onbelangrijk vindt of niet vindt.

In Google Search Console zie je per adres wat de status is en waarom een pagina niet is opgenomen.

Hoe versnel je het indexeren?

Zorg dat elke belangrijke pagina vanaf je homepage binnen een paar klikken bereikbaar is. Zet de pagina in je XML-sitemap, link ernaar vanuit bestaande pagina’s die over hetzelfde onderwerp gaan en vraag in Google Search Console één keer indexering aan.

Op de langere termijn geldt: een website die regelmatig goede nieuwe inhoud publiceert, wordt vaker gecrawld. Lees hoe je zorgt dat je website snel wordt geïndexeerd.

Wat ziet ViRank hiervan?

ViRank, de SEO-software van ViVortis, leest je website in bij de eerste analyse. Onder Content zie je per pagina wat er aan de on-page SEO ontbreekt, waaronder interne links. Onder Techniek, dat ViRank elke dag bijwerkt, staan technische punten op volgorde van impact, zoals kapotte links, ontbrekende en dubbele titels, pagina’s zonder duidelijke H1 en verweesde pagina’s: pagina’s waar geen interne link naartoe wijst. Zo’n pagina vindt Google alleen moeilijk.

Of een pagina in de index van Google staat, bepaalt Google. Dat controleer je in Google Search Console.

Zo pak je het aan 4 stappen

Veelgestelde vragen

Hoe lang duurt het voordat een pagina is geïndexeerd?

Van enkele uren tot enkele weken. Het hangt af van hoe bekend en betrouwbaar je website is bij Google en hoe vaak je nieuwe inhoud publiceert. Een nieuwe website moet dat vertrouwen eerst opbouwen.

Wat is crawlbudget?

Crawlbudget is de hoeveelheid aandacht die Google aan het crawlen van jouw website besteedt. Voor kleine en middelgrote websites is dat zelden een probleem; voor grote webshops met duizenden adressen is het wel een aandachtspunt.

Betekent geïndexeerd dat ik goed gevonden word?

Nee. Geïndexeerd betekent alleen dat de pagina in de zoekresultaten kan verschijnen. Waar hij komt te staan, hangt af van de inhoud, de techniek en de links van andere websites naar jouw website.

Moet ik elke nieuwe pagina zelf aanmelden bij Google?

Nee. Staat de pagina in je XML-sitemap en linken andere pagina’s ernaar, dan vindt Google hem zelf. Indexering aanvragen is handig voor een belangrijke nieuwe of sterk gewijzigde pagina.

Waarom staan er pagina’s in Google die ik er niet in wil hebben?

Google neemt alles op wat het kan crawlen en de moeite waard vindt, tenzij een noindex-instructie dat tegenhoudt. Een blokkade in de robots.txt haalt een pagina niet uit Google; daarvoor is een noindex nodig.