Screaming Frog-crawl lezen per onderwerp in 7 stappen

Een crawl van Screaming Frog geeft per soort fout een lijst adressen. Of een fout iets belangrijks raakt, en of je belangrijke onderwerpen genoeg interne links krijgen, zie je pas als je de adressen groepeert en de vraag uit Search Console ernaast zet. Een crawl is het automatisch doorlopen van een site van link naar link, zoals Googlebot dat ook doet.

Een paginatype is een soort pagina met dezelfde opbouw en hetzelfde doel, zoals blogartikelen of dienstpagina’s. Een onderwerp is een vraag of probleem van je doelgroep waarop één pagina het antwoord is, zoals in stap 5 van de gids. Op een kleine site vallen die vaak samen, en in het voorbeeld gebruik ik de paginatypes van een kleine zakelijke site die ik meet.

Waarom de verdeling van links ertoe doet

Google gebruikt links als signaal om te bepalen hoe relevant een pagina is, en om nieuwe pagina’s te vinden.1 Bij één aangesloten organisatie ging 62% van de inhoudelijke interne links naar een groep pagina’s die 9% van de vertoningen kreeg.2 De adviesartikelen van die organisatie kregen 4% van de links en 42% van de vertoningen.

Wat dit stuk oplevert, is per paginatype of onderwerp een regel met het aandeel pagina’s, links, vertoningen en kliks, en de technische problemen. Dat doe je met de spreadsheet bij dit stuk.

Wat je nodig hebt

• Screaming Frog SEO Spider. Zonder licentie crawl je hoogstens 500 URL’s per crawl.3
• Toegang tot Search Console van de site, met de rechten om het prestatierapport te zien.
• Microsoft Excel en het sjabloon crawl-verdeling-sjabloon.xlsx. Ik heb het getest in Excel van Microsoft 365, niet in Google Sheets.

Het sjabloon heeft zes tabbladen, met uitleg in het eerste. Je plakt gegevens in Crawl, Links en Search Console, je legt in Regels vast hoe je de pagina’s indeelt, en in Verdeling staat de uitkomst. De grijze kolommen rekent de sheet zelf uit, en hoeveel adressen en links hij aankan staat in het tabblad Uitleg.

1. Crawl de site

Open Screaming Frog, vul de homepage in en klik op Start. Voor dit stuk volstaat de standaardinstelling, want je gebruikt alleen het tabblad Internal en de export van de links. Googlebot, de crawler van Google, doorloopt je site op dezelfde manier.

Controleer na afloop dat de crawl helemaal klaar is en dat het aantal adressen in het tabblad Internal met het filter HTML ongeveer klopt met wat je verwacht. Ontbreken er hele delen van de site, dan zijn er geen links naartoe of mocht de crawl ze niet ophalen, en dat is zelf al een bevinding.

2. Exporteer de pagina’s en de links

Je hebt twee exports nodig.

1. De pagina’s. Kies in het tabblad Internal het filter HTML en klik op Export. Open de export in Excel en kopieer de kolommen Address, Status Code, Indexability, Crawl Depth en Title 1 één voor één naar het tabblad Crawl van het sjabloon, in die volgorde in de kolommen A tot en met E vanaf rij 2.
2. De links. Kies in het menu Bulk Export, Links, All Inlinks. Zet in Excel een filter op de export, houd alleen Type Hyperlink en Link Position Content over, en kopieer de kolommen Source en Destination naar het tabblad Links, in A en B vanaf rij 2.

In de kolom Link Position staat waar een link op de pagina staat, zoals Navigation, Footer of Content. Bij de voorbeeldsite stonden in de export 868 hyperlinks, waarvan 554 uit het menu, 256 in de tekst en 58 uit de voettekst.4 Menulinks staan op elke pagina en zeggen weinig over welk onderwerp je belangrijk vindt, daarom telt de sheet alleen links in de tekst.

Controle. Het aantal rijen in Crawl is gelijk aan het aantal HTML-adressen in Screaming Frog, en het aantal rijen in Links aan het aantal rijen in je gefilterde export.

3. Haal vertoningen en kliks uit Search Console

Open in Search Console Prestaties, Zoekresultaten, kies de periode, bijvoorbeeld de laatste drie maanden, en open het tabblad Pagina’s. Exporteer en plak de kolommen met de pagina, de klikken en de vertoningen in het tabblad Search Console, in A tot en met C vanaf rij 2.

Vanuit het scherm van Search Console exporteer je hoogstens 1.000 rijen.5 Meer rijen haal je op via de Search Console API of de bulk-export naar BigQuery, die in stap 1 van de gids staat. Plak de cijfers per pagina daarna in dezelfde drie kolommen.

Controle. De adressen moeten in de crawl en in Search Console dezelfde vorm hebben, dus allebei met of zonder www en met of zonder slash aan het eind. De aandelen in de sheet gaan alleen over de gecrawlde pagina’s.

Bij de voorbeeldsite hadden de adressen dezelfde vorm, en hadden 23 van de 30 HTML-adressen uit de crawl vertoningen.6 Samen kregen ze 94% van de vertoningen van de site, en de rest ging naar oude adressen, tagpagina’s en een subdomein.

4. Leg regels vast voor je paginatypes of onderwerpen

In het tabblad Regels vervang je de voorbeeldregels door je eigen regels, met per regel het begin van een pad en het paginatype dat erbij hoort. Een pad is het deel van het adres na de domeinnaam, zoals /blog/interne-links/. Bij elke regel kies je “begint met” of “is gelijk aan”.

De sheet leest de regels van boven naar beneden, en de eerste regel die past bepaalt het type. Mijn systeem deelt pagina’s op dezelfde manier in, met regels op het adres die van boven naar beneden worden gelezen. Zet daarom de regels met “is gelijk aan” bovenaan, voor de homepage (/) en voor overzichtspagina’s zoals /blog/, en daaronder de regels met “begint met”, zoals /blog/ voor alle blogartikelen.

Zet daarna in het tabblad Verdeling in kolom A, in plaats van de voorbeelden, elk paginatype één keer neer, met Overig erbij. Voor de voorbeeldsite nam ik de negen paginatypes over die mijn systeem voor die site gebruikt.7

Controle. In het tabblad Verdeling staat in cel B1 het aantal pagina’s dat nergens bij hoort, en dat moet 0 zijn. Staan er veel pagina’s onder Overig, voeg dan een regel toe.

5. Lees de crawl per paginatype

In het tabblad Verdeling staat per paginatype hoeveel adressen geen status 200 geven, niet indexeerbaar zijn, op klikdiepte 3 of dieper liggen of een title hebben die ook op een ander adres staat.

• Status 200 betekent dat de pagina er is.
• Indexeerbaar is een pagina met status 200 die niet door robots.txt wordt tegengehouden, geen noindex heeft en geen canonical naar een ander adres. Noindex is een instructie in de pagina dat Google haar niet in de index mag opnemen. Een canonical is het adres dat een pagina als de echte versie aanwijst, als dezelfde inhoud op meer adressen staat.
• Klikdiepte is het aantal klikken vanaf de homepage.
• De title is de titel in de code van de pagina, die Google vaak als kop in de zoekresultaten toont.

De crawl van de voorbeeldsite per paginatype

Crawl van 4 oktober 2026, 30 HTML-adressen, gesorteerd per paginatype in plaats van per fout.

De problemen zaten bij drie paginatypes. Bij de dienstpagina’s was het een adres dat doorverwijst naar het overzicht van de diensten, waar een blogartikel nog naartoe linkte, en bij contact een variant van de contactpagina met een canonical naar /contact/, die ook de dubbele title verklaart. De tool heeft een noindex.8

Klik bij een probleem in Screaming Frog op het adres en open onderaan het tabblad Inlinks. Daar zie je welke pagina’s ernaar linken, en die links pas je aan.

6. Vergelijk het aandeel links met het aandeel vraag

Inhoudelijke links zijn links in de tekst naar een pagina, zonder links van een pagina naar zichzelf. Een link die op bijna elke pagina in de tekst terugkomt, zegt net als een menulink weinig over één onderwerp.

De sheet telt een link die vanaf 60% of meer van de pagina’s in de tekst staat daarom als sjabloonlink en niet als inhoudelijk, met dezelfde grens als mijn systeem. Bij de voorbeeldsite gold dat voor de link naar /contact/, die vanaf 83% van de pagina’s in de tekst stond. Van de 256 links in de tekst gingen er 26 naar /contact/ en 4 van een pagina naar zichzelf, en zo bleven er 226 inhoudelijke links over.7

Per paginatype zet de sheet het aandeel pagina’s, inhoudelijke links, vertoningen en kliks naast elkaar. De kolom “Links min vertoningen” geeft het verschil in procentpunten. Een groot positief getal betekent veel links en weinig vraag, een groot negatief getal veel vraag en weinig links.

Links en vertoningen per paginatype op de voorbeeldsite

Links uit de crawl van 4 oktober 2026, 986 vertoningen uit Search Console van 7 juli tot 4 oktober 2026, gesorteerd op vertoningen.7

Hoe lees je de verschillen?

Lees elk verschil met de rol van de pagina erbij.

• De homepage kreeg 39% van de vertoningen en geen inhoudelijke links. Hij krijgt zijn links uit het menu, dus dat verschil hoeft niet weg.
• De overzichtspagina’s kregen 24% van de links en 3% van de vertoningen. Ze zijn er om door te verwijzen naar de pagina’s eronder, dus ook dat past.
• De dienstpagina’s, de pagina’s over het aanbod, kregen 14% van de links en 11% van de vertoningen. Daar lopen links en vraag gelijk op.7

De contactpagina’s kregen 7,0% van de vertoningen en 3,5% van de inhoudelijke links.7 Daarnaast zie ik op deze kleine basis geen groep met veel vraag en weinig links, op de homepage na. Bij de aangesloten organisatie uit het begin van dit stuk was dat anders, zoals de tabel hieronder laat zien.

De verdeling bij een aangesloten organisatie

Eén organisatie, een dienstverlener met een pagina per productmodel. Links uit de crawl van 4 oktober 2026, kliks uit Search Console van juli tot oktober 2026.

De adviesartikelen kregen 39,5% van de kliks en 3,9% van de links, terwijl de eerste groep pagina’s per productmodel 62,4% van de links kreeg en 6,5% van de kliks.2 Of dat moet veranderen, hangt af van wat de organisatie verkoopt. Daarom zet je naast de cijfers altijd de vraag welke onderwerpen voor het aanbod het belangrijkst zijn.

7. Verwijs vaker naar wat te weinig krijgt, en meet opnieuw

Krijgt een belangrijk onderwerp veel vraag en weinig links, verwijs er dan meer naar:

• vanuit de navigatie, als het onderwerp belangrijk genoeg is voor het menu;
• vanuit verwante pagina’s, met een link in de tekst waar het onderwerp ter sprake komt;
• vanuit de pagina’s die al veel links krijgen, die je vindt door in het tabblad Crawl te sorteren op de kolom Inhoudelijke links.

Controle. Voor links in de tekst crawl je de site na de aanpassingen opnieuw, plak je de exports in een kopie van de sheet en vergelijk je de kolom Aandeel links. Een wijziging in het menu zie je daar niet, omdat de sheet menulinks niet telt. Of de vertoningen daarna veranderen, meet je zoals beschreven in stap 12 van de gids. Het hele hoofdstuk over techniek en verdeling staat in stap 7 van de gids.