Blokering af indeksering af din hjemmeside

Når jeg arbejder med SEO, bruger jeg 99 % af min tid på at rådgive om, hvad du skal gøre for at få mere synlighed på Google. Men i enkelte tilfælde kan der være en årsag til, at du ønsker at blokere Google (og andre søgemaskiner) fra at indeksere din hjemmeside.

Det kan eksempelvis være, at du ønsker Google ikke skal have adgang til:

  • Hele hjemmesiden
  • Enkelte sektioner af hjemmesiden
  • Filer på hjemmesiden

I denne artikel forklarer jeg kort, hvad du skal gøre såfremt du ønsker en af ovenstående scenarier

Brug disallow i robots.txt filen

Hvis du ønsker at forhindre Google i at få adgang, skal du oprette robots.txt som en fil på din server. Denne fil fortæller Google og andre søgemaskiner, hvilke sektioner på hjemmesiden de ikke må indeksere. Denne type fil følger REP, som står for The Robots Exclusion Protocol.

Når du arbejder med robots.txt skal du være opmærksom på, at din hjemmeside, en bestemt mappe eller fil stadigvæk kan blive indekseret. Typisk vil du kunne se title-tag og et snippet:

robots txt

Ovenstående er ikke optimalt, hvis du har indhold, som er 100 % fortroligt. Skal du have udelukket nogle bestemte filer eller DC (duplikeret indhold), kan robots.txt filen være en løsning. Men hvad angår DC er løsningen med noindex at foretrække. Læs om noindex længere nede.

Et par eksempler på brugen af robots.txt

Blokering af hele hjemmesiden

Disallow: /

Blokering af en bestemt mappe

Disallow: /mappenavn/

Blokering af en bestemt fil

Disallow: /mappenavn/filnavn.png

Blokering af filtyper

Disallow: /*.jpg

Brug noindex mod tyndt indhold

Liked.dk er en hjemmeside, som hjælper tusindevis af danskere hver eneste måned med at finde det mest populære fashion tøj. Hjemmesiden har rigtig mange kategorier – faktisk så mange at det vil tage rigtig lang tid at skrive godt indhold til hver eneste kategori.

I 2011 lancerede Google en opdatering kaldet Google Panda, som fokuserer på at fjerne hjemmesider med indhold af lavt og tyndt kvalitet. Dette kan være et problem for dig (og for liked.dk) såfremt, du har en hjemmeside med mange produkt- og kategorisider uden tekst.

En optimal løsning mod tyndt indhold er, at smække noindex i headeren:

<meta name=”robots” content=”noindex”>

Det samme gælder gulvkanonen.dk, som havde mange produktsider uden indhold. Det bedste ejeren af hjemmesiden kan gøre er, at bruge “noindex” indtil der kommer indhold på produktsiderne.

Med noindex vil Google eller andre søgemaskiner ikke indeksere dine sider, hvor tagget indgår, og siderne vil hellere ikke fremgå i Google indeks hverken med title eller meta description. Dit indhold vil slet ikke være at se, som det vil med robots.txt

Husk aldrig at bruge nofollow, når du bruger noindex. Det skal altid hedde noindex follow.

One thought on “Blokering af indeksering af din hjemmeside

Skriv et svar

Din e-mailadresse vil ikke blive publiceret. Krævede felter er markeret med *