Der kan være mange gode grunde til, at der er sider på dit website, som du ikke ønsker crawlet eller indekseret i søgemaskinerne. Men hvordan er det lige man gør det på den rigtige måde. Skal du bruge robots.txt eller META-robots tags? Det er der øjensynligt rigtig mange som er i tvivl om og det resulterer desværre meget tit i fatale fejl.

I dette indlæg vil jeg derfor, en gang for alle, gøre det helt klart, så alle kan forstå det, hvordan du korrekt udelukker søgemaskinerne fra crawling eller indeksering af sider på dit website…

Læs mere her