Advarsel: Simply.com blokerer Google!
Jeg har en enkelt kunde, hvis website er hostet på Simply.com. Normalt blander jeg mig ikke så meget i, hvor mine kunder ønsker at være hostet. Men over weekenden blev det nødvendigt, da jeg fandt ud af at Simply.com var begyndt at blokere alle besøg fra Googles web crawlere.
Lidt mere om hvad der skete her …
Fejl i Search Console
Der er mange gode grunde til altid at have sine websites opsat i Google Search Console. En af dem er, at du så automatisk får besked om kritiske fejl.
Og her i weekenden dukkede der så en af dem op, på en af mine kunder. Google rapporterede at de fik 4xx fejl, på en side. Og det er jo alvorligt. Så jeg gik straks igang med at undersøge hvad årsager kunne være.
Hvad skyldes 4xx fejl?
Ofte skyldes 4xx (f.eks. 404 eller 406) fejl, at en side er blevet nedlagt eller flyttet. Så det første jeg tjekkede var, at siden faktisk virkede. Det gjorde den.
Så testede jeg siden i Google Search – det kunne jo bare have været en midlertidig fejl. Men det var det ikke. Siden gav stadig Google en 4xx (helt nøjagtigt en 406) fejl.
Hvad værre var, at jeg ved tests af andre sider på sitet kunne konstatere, at det faktisk var alle sider, som Google var udelukket fra.
Siderne begyndte stille og roligt at ryge ud af Google og vi mistede næsten med det samme rankings på meget vigtige keywords. Katastrofe!
Min næste tanke var så, at det kunne være et GEO-problem – altså at man ikke kunne tilgå sitet fra bestemte lande. Men mine tests via bl.a. Pingdom Tools og GeoPeeker viste, at det ikke var tilfældet.
Næste tanke var, at det kunne være at der blev blokeret for bestemt user agents. Så jeg testede med en række forskellige – både almindelige browser agents og flere varianter af Googlebot. Men de fungerede alle fint.
Baserede på tidligere erfaring, med dumme hosts, faldt min mistanke så på, at Simply kunne have været så åndssvage, at spærre for Google på IP-niveau.
Det var ikke sådan lige at finde frem til de logfiler, der kunne dokumentere det. Dem har de gemt godt. Men jeg fandt dem til sidst under Website -> Webserver logs -> Sikkerhed -> Senest blokerede forespørgsler.
Her kunne jeg med gru konstatere, at de havde blokeret for Googlebot
Næste skridt var så, at finde ud af hvordan jeg kunne løse det …
Sådan kan man fjerne server blokering – i teorien
Efter længere tids research fandt jeg frem til, at man kan justere på Simply.com’s sikkerhedsfilter, ved at tilføje nogle regler til .htaccess filen.
Jeg tilføjet derfor en regel om, at alle besøg hvor “Googlebot” indgik i user agent navnet ikke skulle blokeres.
Men det virkede ikke. Når jeg testede i Google Search Console kunne Google stadig ikke få adgang! Jeg måtter derfor have fat i Simply.com supporten.
Efter flere mails frem og tilbage fik jeg bekræftet, at Simply havde blokeret Googles web crawlere på IP-niveau. Det var derfor den undtagelse jeg ellers havde kodet ikke virkede.
Det er en absurd dårlig løsning til stor skade for deres kunders synlighed i Google!
Efter lidt mere skriveri frem og tilbage fortalte de, at de nu havde rettet det. Så langt så godt.
Men jeg fandt også ud af, at deres løsning byggede, og fortsat bygger på en – tilsyneladende sporadisk, brug af Googles publicerede liste af de IP-adresser de crawler fra.
Det er en meget dårlig løsning!
Problemet er dels, at Google ikke har garanteret at denne liste altid er 100% opdateret, og dels at det i alle fald kræver, at man hele tiden tjekker den. Jeg ved iøvrigt også, at Google helt bevidst nogle gange crawler fra “hemmelige ” IP-adresser, bl.a. for at forsøge at afsløre cloaking.
Om det er det første eller det sidste der fejlede for Simply.com ved jeg ikke, men jeg er sådan set også ligeglad. De skal slet ikke blokere Google på mine kunders websites. Punktum!
Hvad er løsningen?
Jeg tør ikke stole på, at Simply har styr på det her. De har jo fortsat et aggressivt system blokering implementeret, som man åbenbart ikke kan slå fra.
Jeg kan ikke leve med, at mine kunders synlighed ligger i hænderne på Simply – slet ikke når de har udvist en så eklatant inkompetence i den her sag.
Så for denne kundes vedkommende bliver løsning, at vi flytter til en anden server.
Der kan naturligvis være god fornuft i, at have opsat sikkerhedssystemer, der beskytter mod angreb. Men jeg vil bestemt ikke anbefale, at man overlade det til en udbyder som Simply at administrere, når de tydeligvis ikke har styr på det.
Tom Sommer (Simply.com) skriver
Sikke en elendig artikel? Blokeringen var kortvarig og lige efter du kontaktede os, har Googlebot været permanent whitelisted så fejlen ikke kan opstå igen.
Hvad er det for noget at skrive en fuld artikel om?
Mikkel deMib Svendsen skriver
Din kommentar er jo NETOP et godt eksempel på, hvorfor det er relevant at skrive denne artikel – Simply tager tilsyneladende ikke dette alvorligt nok, eller forstår hvor kritisk det er.
Blokeringen varede flere dage, Simply opdagede det ikke selv, men reagerede først da JEG har fundet denne alvorlige fejl.
Løsning er fortsat usikker, da den – som jeg forstår på supporten bygger på IP-listen fra Google (som forklaret mere detaljeret ovenfor). Det er ikke en 100% sikker løsning, som jeg kan anbefale, at man satser sin synlighed i Google på.
Men jeg forstår da godt at du ikke bryder dig om artiklen. Det er jo aldrig rart at få opmærksomhed om de fejl man laver. Men relevant, korrekt og berettiget er ariklen helt bestemt
Flemming Eiberg skriver
Hvis I selv indrømmer, det var en (midlertidig) fejl, ville det klæde jer bedre at undskylde og forsikre at det ikke gentager sig, i stedet for at angribe en artikel, der påpeger problemet!
Jeres håndtering er under af kritik, og udslagsgivende for at jeg nu vil søge at flytte alle mine aktiviteter hos jer til anden – mere professionel udbyder!
Kristian Ole Rørbye skriver
Hej Mikkel,
Det lyder ret skræmmende det dig og kunden har oplevet her – og godt i fandt ud af hvad problemet var.
Det er heldigvis ikke noget jeg har oplevet på de hjemmesider jeg selv har hostet hos Simply og jeg har, efter at have læst dit indlæg her, checket om det skulle være tilfældet at Google var blocket ved nogen af dem via IP blocking og det var det heldigivis ikke.
Spg: har du andre kunder eller nogle af dine egne sites der også er hostet ved Simply hvor det samme er sket eller er det “udelukkende” ved denne kunde i har set det?
Mvh.
Mikkel deMib Svendsen skriver
Jeg har p.t. (heldigvis) kun en enkelt kunde der bruger Simply.com. Jeg blander mig normalt ikke så meget i hvilken hosting kunderne bruger – med mindre den de har valgt giver særlige udfordringer (som i dette tilfælde).
De rettede jo den akutte fejl, efter min henvendelse (det var ikke dem selv der opdagede det). Så det er nok derfor du ikke kan se fejl lige nu. Men som sagt er jeg bestemt ikke tryg ved hverken dem, eller den løsning de har valgt og frygter at noget tilsvarende kan ske igen. Den risiko kan jeg ikke anbefale at løbe. Det er rigeligt med andre SEO-udfordringer at skulle tage sig af. Ingen grund til at tilføje flere 🙂
Hans-Henrik skriver
Tak for info, Mikkel.
Kan du anbefale en professionel host?
Laust Kehlet skriver
Puha … den er godt nok slem… det ser ud til hos mig er der nogle af ahrefs bots der er blokeret … Det er godt nok skidt – men naturligvis ikke så slemt som Google Bots.
Mikkel deMib Svendsen skriver
Ja, jeg så godt – da jeg researchede det konkrete problem, at der var virkelig mange andre tjenester der var blokeret. Jeg gik dog ikke dybere ind i det, da min primære fokus i første omgang var at rede kundens synlighed i Google.
Men ja, det er blot endnu et eksempel på, at deres sikkerhedssystem er alt for stramt. Det er jo røv-irriterende ikke at kunne bruge f.eks. SEM-Rush eller Ahrefs Site Audit (hvis man bruger det),
Jesper Truelsen skriver
Noget tyder på at der stadig er udfordringer.
Blokering af SEMRush er naturligvis ikke helt så slemt,.
Men det virker til at en masse forespørgsler fra SEMRush IP’er som
185.191.171.14
185.191.171.15
185.191.171.26
også returnerer 406 fejl.
Mikkel deMib Svendsen skriver
Se min kommentar ovenfor, til Laust Kehlet.
Jeg bruger normalt ikke SEMRush, men hvis man gør er det da skide irriterende at det blokeres.
En ting er at disse tjenester – som mange af os bruger blokeres. Det er irriterende. Noget andet er, at Simply ikke gør meget for at tydeliggøre at det sker. Og det sidste er, at det øjensynligt er umuligt selv helt at forhindre disse blokeringer.
Det er alt i alt langt fra tilfredsstillende.
Tom Sommer (Simply.com) skriver
Simply.com whitelister alle disse værktøjer, hvis de publisere IP-lister. De IP-adresser du lister der, er ikke nogle som SEMRush selv siger man skal whiteliste: https://www.semrush.com/kb/950-troubleshooting-content-analyzer
Tom Sommer (Simply.com) skriver
Jeg har dog whitelisted alle SemRush’s IP-ranges nu – så der bør ikke være flere problemer.
Ahref er allerede whitelisted efter deres retningslinjer her: https://help.ahrefs.com/getting-started-with-ahrefs/ahrefs-explained/what-is-the-list-of-your-ip-ranges
Tom Sommer (Simply.com) skriver
SEMRush er et godt eksempel, deres IP er blacklisted rigtig mange steder på nettet, se blot https://www.abuseipdb.com/check/185.191.171.15
Så igen – det er et problem du finder mange steder, med mindre man netop whitelister de her services specifikt i ens sikkerhedsfiltre.
Mikkel deMib Svendsen skriver
Jeg synes som sagt ikke, at den løsning er god – uanset om andre måtte have samme løsning.
Sikkerhed er naturligvis godt, men som du ved kan sikkerheden blive så høj at den skader mere end den gavner.
De problemer jeg har beskrevet i denne artikel er et rigtig godt eksempel. Det har kostet min kunde dyrt, og det er for høj en pris at betale for at kunne blokere for nogle besøg.
Et supermarked kunne sikkert også stoppe al tyveri – hvis de indførte scanninger og intensive undersøgelser af alle kunder der går ud og ind. Men det gør de ikke. Klogt nok. For jeg tro, at tabet ved de mange der så ville droppe butikken er større end det tab tyverierne giver.
Det er det samme her.
I har øjensynligt valgt en sikkerhedsløsning, der er SÅ stram, at den – som jeg oplevede det, kan ramme en virksomhed al for hårdt. Jeg ville hellere sikre en kapacitet på serverne, der kan tåle lidt besøg – der MÅSKE kunne være filtreret fra, til fordel for ALDRIG at få filtreret for mange (som her, f.eks. Google) fra.
Generelt bryder jeg mig ikke så meget om, at sådanne filtreringer automatisk køres af en host. Det bør være noget kunden tilvælger og har styr på. Men det er naturligvis en smagssag.
Erik Poulsen skriver
Du ved tydeligvis hvad du taler om. (Not)
Måske skulle du lige fakta-tjekke før du kaster om dig med injurier.
Mikkel deMib Svendsen skriver
Nahh, jeg ved ikke så meget om det der med søgemaskiner (not) hehe 🙂
Men du skal nok lige tjekke op på hvad injurier er og så påpege hvilke fakta det er du ikke mener er korrekte.
Veldokumenteret kritik gør naturligvis lidt ondt på dem det rammer. Men injurier er det altså ikke. Det samme gælder holdninger. Dem kan du så være uenig i. Men injurier er det ikke.