Wat is een robots.txt en wat zet ik erin?

Wat is een robots.txt?

Zoekmachines zoals Google sturen programma’s langs websites die pagina’s bezoeken en lezen. Zo’n programma heet een crawler, en het bezoeken heet crawlen. Voordat een crawler je website bezoekt, kijkt hij eerst in de robots.txt.

De robots.txt is een gewoon tekstbestand in de hoofdmap van je website. Je vindt hem altijd op jouwdomein.nl/robots.txt, waarbij je jouwdomein.nl vervangt door je eigen domeinnaam. Het bestand is openbaar: elke bezoeker en elke crawler kan het lezen.

Let op: de robots.txt is een verzoek aan crawlers, geen beveiliging. Nette zoekmachines houden zich eraan, maar een pagina met gevoelige gegevens bescherm je er niet mee. Daarvoor heb je een wachtwoord of een inlog nodig.

Hoe ziet een veilige robots.txt voor WordPress eruit?

Voor de meeste WordPress-websites volstaat een korte robots.txt. Deze regels laten alles toe, sluiten alleen de beheeromgeving uit en wijzen naar je sitemap:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://jouwdomein.nl/sitemap.xml

Dit betekenen de regels:

Regel	Wat hij doet
User-agent: *	De regels eronder gelden voor alle crawlers. Het sterretje betekent: iedereen.
Disallow: /wp-admin/	Crawlers bezoeken de beheeromgeving van WordPress niet.
Allow: /wp-admin/admin-ajax.php	Uitzondering: dit ene bestand mag wel, omdat veel thema’s en plugins het gebruiken om de pagina goed te tonen.
Sitemap:	Het volledige adres van je XML-sitemap, het overzicht van alle pagina’s die zoekmachines moeten kennen.

Vervang het sitemapadres door het echte adres van jouw sitemap. Lees wat een XML-sitemap is en waar je hem vindt.

Wat doet een robots.txt niet?

De robots.txt stuurt alleen het crawlen. Je kunt er mappen of soorten adressen mee uitsluiten, zoals de resultaten van de zoekfunctie op je website of filterpagina’s in een webshop.

Een pagina uitsluiten in de robots.txt haalt hem niet uit Google. Linken andere websites naar die pagina, dan kan het adres alsnog in de zoekresultaten verschijnen, alleen zonder beschrijving. Google kan de pagina immers niet lezen.

Wil je een pagina echt uit de zoekresultaten houden, gebruik dan een noindex-instructie en laat de pagina juist wel crawlbaar. Google moet de pagina kunnen bezoeken om de noindex te zien. Lees hoe je een pagina uit Google houdt met noindex.

Welke fouten komen het meest voor?

• De regel Disallow: / laten staan. Tijdens de bouw van een website wordt die regel soms gebruikt om de hele website af te schermen. Wordt hij na de lancering vergeten, dan mag geen enkele zoekmachine je website meer crawlen en verdwijnt je website uit beeld.
• CSS en JavaScript blokkeren. Google bekijkt je pagina zoals een bezoeker hem ziet, met opmaak en scripts. Blokkeer je die bestanden, dan beoordeelt Google een kale versie van je website.
• De robots.txt gebruiken als noindex. Uitsluiten haalt een pagina niet uit de index. Gebruik daarvoor een noindex-instructie en laat de pagina crawlbaar.

WordPress heeft daarnaast onder Instellingen > Lezen de optie Zoekmachines ontmoedigen om deze site te indexeren. Staat dat vinkje na de lancering nog aan, dan vraag je zoekmachines ook om je website niet op te nemen. Controleer het dus samen met je robots.txt.

Wie maakt en beheert de robots.txt?

Staat er geen eigen robots.txt op de server, dan maakt WordPress er zelf een. Die sluit de beheeromgeving /wp-admin/ uit, met de uitzondering voor admin-ajax.php, en is voor de meeste websites goed. Sommige SEO-plugins hebben ook een scherm waarin je het bestand kunt aanpassen.

Een fout in de robots.txt kan je hele website onvindbaar maken. Wil je het bestand laten aanpassen, dien dan een ticket in bij de helpdesk van ViVortis.

Zo pak je het aan 5 stappen

Veelgestelde vragen

Heeft elke website een robots.txt nodig?

Zonder robots.txt crawlen zoekmachines alles wat ze vinden. Voor een kleine website is dat prima; een bestand met alleen een verwijzing naar je sitemap is dan genoeg.

Kan een fout in de robots.txt mijn posities in Google schaden?

Ja, indirect. Blokkeer je per ongeluk belangrijke pagina’s of de bestanden voor opmaak en scripts, dan kan Google die niet goed beoordelen en verlies je zichtbaarheid.

Kan ik met de robots.txt een pagina geheimhouden?

Nee, het bestand is openbaar, dus iedereen kan lezen welke mappen je uitsluit. Bovendien houden niet alle bots zich eraan. Scherm gevoelige pagina’s af met een wachtwoord of een inlog.

Hoe snel ziet Google een wijziging in mijn robots.txt?

Google bewaart de robots.txt meestal tot 24 uur en haalt hem daarna opnieuw op. In het robots.txt-rapport van Google Search Console kun je Google vragen het bestand eerder opnieuw op te halen.

Wat betekent de melding dat een pagina is geïndexeerd hoewel robots.txt hem blokkeert?

Google kent het adres, bijvoorbeeld via een link, maar mag de pagina niet lezen. Moet de pagina in Google, haal de blokkade dan weg. Moet hij eruit, haal de blokkade weg en gebruik een noindex-instructie.