Google sitemaps – godt eller dårligt?
Google lancerede for nogen tid siden Google Sitemaps, der er i princippet blot er et XML-baseret sitemap, i et af dem på forhånd defineret format. Jeg har i de senere måneder fået flere og flere spørgsmål om brugen af Google Sitemaps, både her, fra kunder og på de udenlandske konferencer jeg taler på. Senest var det (igen) oppe at vende på SES i Toronto. Så her kommer min uforbeholdne mening om Google Sitemaps …
Du kan læse om [tag]Google Sitemaps[/tag] på Google’s danske sider her. Men jeg vil gerne starte med at advare dig om, at teksten på siden er et rigtig godt eksempel på en usædvanligt dårligt oversat tekst – øjensynligt oversat direkte fra Amerikansk af en person der ikke aner hvad det hander om. Det gør det lidt svært at forstå, og det giver ind imellem nogle helt uforståelie, for ikke at sige direkte forvrøvlede, sætninger som f.eks.:
… “ligesom med din startside eller et HTML-webstedskort…” – et webstedskort hehehehehe, ja det kender vi jo alle godt
… “PageRank-placering af siderne på dit websted…” – øhhhh, forstår du denne sætning? Tror du oversætteren gjorde? hehehehe
Eller hvad med dette citat fra en af mine kunder, og gode ven iøvrigt, Marshall Simmonds fra New York Times …”Vi ønsker at overføre nye links til brugere i en fart…” hehehehe, jeg VED med 100% garanti at han ALDRIg har sagt dette. Han har muligvis sagt noget helt andet på engelsk, som af en ukyndig oversætter så er blevet til dette vrøvl.
Dertil kommer så nogle påstande som jeg i hvert fald vil sætte stort spørgsmålstegn ved, som f.eks.
“Google har aldrig taget betaling for visning i vores søgeresultater…”
– hvad er det lige AdWords er? Annoncer i søgeresultaterne! Det er rigtigt at Google, på samme måde som stort set alle andre søgemaskiner, ikke tager (direkte) betaling for optagelse eller ranking i det der normalt kaldes “det organiske indeks”. Når jeg siger “ikke direkte”er det fordi, at meget store kunder, der betaler meget store beløb i AdWords annoncering, har fået ekstrem poswsitiv særbehandling. Dette ved jeg med 100% sikkerhed da jeg selv har oplevet det direkte med store Amerikanske kunder jeg har arbejdet med, og dels fordi gode gamle og troværdige kollegaer i branchen kan berette om det samme.
“Det kommer aldrig websteder til skade at bruge denne tjeneste.”
– dette er ikke helt korrekt, og det kommer vi til lige om et sekundt …
Hvordan virker Google Sitemaps
Google Sitemaps er, som sagt, en simpel form for oversigt over alle de sider der findes på dit website i et af Google på forhånd defineret XML-format. Hvis du ikke lige ved noget om XML, skal du ikke nødvendigvis blive skræmt. Enten ved din udvikler det, eller også kan du i mange tilfælde finde automatiserede værktøjer til fremstilling af et korret XML sitemap. Jeg vil dog anbefale at du holder dig helt væk fra Googles egen Sitemap Generator– af flere grunde:
- Programmet er skrevet i [tag]Python[/tag]. Det er ikke fordi jeg egentligt har noget imod Python, men der er bare ikke ret mange udviklere som er fortrolige med det og derfor er det sværre at fejlrette og sikre sig fuld forståelse for hvordan det vil påvirke din server.
- Der har været rapporteret om en del fejl i dette program – i de værste tilfælde er webservere gået helt ned og i et enkelt tilfælde jeg løæse om, måtte hele webserveren gen-installeres
Det er ikke særlig svært at lave et Google Sitemap i det rigtige format. Det kan de fleste udviklere finde ud af. Og jeg vil helt klart anbefale at du laver noget der specifikt passr til dit behov, hvis du skal bruge Google Sitemaps – en løsning du har 100% kontrol over, ved hvordan virker, og ved hvordan man fikser hvis der sker noget. Den løbende opdatering af de ofte store XML-filer kan godt trække tænder ud på en server hvis det ikke er ordentligt sat op, eller der er nogle konflikter af en eller anden art.
Du kan se et eksempel på, hvordan et XML-sitemap ser ud her.
Fordele og ulæmper ved Google Sitemaps
Hvis du bruger Google Sitemaps kan der ske en ud af tre ting. Dette har jeg ved selvsyn konstateret og gode kollegaer har bekrætet disse observeringer.
- I heldigste fald kan det hjælpe med at få sider indekseret, som Google ellers ikke have fundet via den almindelige crawling eller via direkte links fra andre sider på Nettet.
- Mange gange vil det ingen betydning for indekseringen have – f.eks. fordi at man i forvejen kan finde frem til alle dine sider ved at følge links fra side til side og/eller gennem et almindeligt “gammeldags” sitemap
- I nogle få tilfælde har jeg konstateret at Google Sitemaps tilsyneladende var årsagen til at et helt nyt website stort set ikke blev indexeret. Dette hænger ikke helt sammen med det Google siger, som jeg skrev ovenfor: “Det kommer aldrig websteder til skade at bruge denne tjeneste.” Det er meget muligt det ikke er hensigten fra Google’s side – jeg forholder mig blot til de resultater jeg ser.
Jeg vil på baggrund af mine erfaringer med Google Sitemaps ikke anbefale at man bruger det til at starte med. Hvis dit website er ordentligt opbygget, og der er en fornuftig navigation ud til alle afkroge af dit website, så behøver du ikke Google Sitemaps – så vil deres almindelige crawler selv finde siderne.
Og modsat hvad mange folk tror, så giver Google Sitemaps ingen som helst fordel når det kommer til rankeringen af dine sider. Så hvis siderne allerede findes via den almindelige crawling så får du altså i bedste fald intet ud af at tilføje Google Sitemaps og i værste tilfælde kan det give problemer.
Dertil kommer det ikke helt uvæsentlige press Google’s crawling af dit sitemap kan få på dine servere. På et enkelt site jeg testede det med, var der 10-12.000 sider, så Sitemap’et var ret tungt. Nogle gange hentede Google det op til 10-12 gange i timen uden at de dermed indekserede ret meget af det (iøvrigt helt legitime indhold).
Hvis alt andet fejler, og du alleigevel ikke bliver ordentligt crawlet eller indekseret så prøv Google Sitemaps – der er jo ikke så meget at tabe hvis du har elendig indeksering 🙂
Grosen Friis skriver
Hej Mikkel
Mit CMS system kan lave et alm. sitemap, og et Google Sitemap dynamisk. Jeg har haft det med lige fra Google annoncerede om Google Sitemap, og kørte det som en Beta version. Jeg håbede det kunne være med til fx. at få Googles bots til at komme forbi oftere og/eller at indeksering ville kunne gå hurtigere.
Men jeg oplever, som Du selv nævner, at det ikke hjælper på noget som helst, og jeg er helt holdt op med at bruge det overfor nye kunder, jeg nøjes med at lade Googlebot’en finde det alm. sitemap.
Men jeg er dog lidt nervøs ved at pille kunder, der har kørt med Google Sitemap i en længere periode, da jeg frygter at de bliver ‘straffet’ hvis man fjerner sit Google Sitemap igen. Har Du nogen erfaringer med, at dette er tilfældet? Fx at man bliver besøgt mindre af Googles bot eller at man bliver smidt ud af deres indeks?
/Grosen Friis
Mikkel deMib Svendsen skriver
Nej, jeg har ikke prøvet at fjerne det fra sites hvor det har hjulpet af den simple årsag at ingen af de sites jeg har arbejdet med tilsyneladende har haft glæde af det omend jeg ved at sådanne eksempler findes.
Grosen Friis skriver
Hej Mikkel
Jeg tror Du var træt da Du skrev Dit svar (Kl 2.04) 😉 Jeg må indrømme, at jeg ikke helt er med på, hvad det er Du skriver?
/Grosen Friis
Mikkel deMib Svendsen skriver
Tror du ike bare du stod for tidligt op på en søndag 🙂
Grosen Friis skriver
Ha ha ha, jo det kan da godt være! Måske det hjælper, hvis jeg selv forsøger at sætte lidt kommaer ind hist og her 😉
/Grosen Friis
Marcel Fuursted skriver
Det Mikkel skriver er, at han ikke har oplevet, at det har haft en skadelig virkning at fjerne det, af den simple årsag at de hjemmesider han har arbejdet med IKKE har ahft glæde af brugen af sitemaps. Så der er ingen skadelig virkning på noget der ikke har gavnet. Tror ikke det kan skrives på ret mange andre måder 🙂
Grosen Friis skriver
Tak for “oversættelsen” :-d
Mads Buch Stage skriver
Så lykkedes det minsandten at få et ønske opfyldt 😉
Tak for et lille indblik, så vil jeg i hvert fald droppe at rode mere med det.
Frank Nielsen skriver
Jeg mener ikke at man skal droppe disse Sitemaps, der er en grund til at det stadig er i BETA. Google roder sikker også stadig med konceptet og det er sikkert ikke 100% implementeret i deres crawlers.
Jeg tror at inden for kort fremtid begynder det at virke efter hensigten, og der vil nok ske det at andre crawlers vil begynde at kigge med. Så det kan hurtig blive en de facto standard da den er åben, desuden er der ikke rigtig er nogen alternativer – andet end den slaviske model som mere eller mindre findes i dag..
For os ”code poets” vil det være en oplagt chance for at få indekseret kunders kataloger 100% og det vare sikkert ikke længe inden Sitemap (xml)formatet bliver udvidet så det også beskriver indholdet af den enkelte side mere konkret…
Xml er vejen frem….
Mikkel deMib Svendsen skriver
> der er en grund til at det stadig er i BETA.
Ja, BETA – det er netop blandt andet derfor det er godt at holde sig fra – med mindre, naturligvis, at man meget gerne vil hjælpe Google med at teste deres BETA-produkt og leve med de fejl og uhensigtsmæssigheder der måtte være. problemet er bare, at det er de færreste professionelle websites jeg kender til, som er villige til at ofre deres website for et af Googles eksperimenter. Man tester på testmaskiner, og test sites – ikke på produkter der kører 🙂
> For os ”code poets” vil det være en oplagt chance for at få indekseret kunders kataloger 100%
Sorry, men altså, hvis I “code poets” gad sætte jer ind I hvordan søgemaskiner virker, så kunne I kode websites som søgemaskinerne let kunne finde rundt i, finde alle sider, og ranke dem fornuftigt. Så ville der hverken være brug for almindelige eller XML-baseret sitemaps.
Mine kunder kan sagtens få indekseret hele deres katalog – og jeg arbejder ofte med websites der har mange millioner sider – og det HELT uden brug af XML-sitemaps. Så kod ordentligt, så løser problemet sig selv, hvis jeg må være så fræk 🙂
XML-sitemaps skal du dog ikke forvente vil blive brugt eller anerkendt som META-data. Søgemaskinerne er forlængst forbi det stadie – det dur ikke at overlade udformning af META-data til samtlige millioner af (for en stor dels vedkommende helt inkompetente) webmastere. XML sitemaps bliver, og vil udelukkende blive brugt til det som gammeldags HTML-sitemaps også bruges til af søgemaskinerne: At finde frem til alle sider. Og det kan de som sagts sagtens i forvejen hvis du har lavet en ordentlig navigationsstruktur
Frank Nielsen skriver
Well, giver dig delvist ret 😉
Omkring BETA produkter; Rigtig nok at de ikke skal installeres i produktions miljøer, eller hos kunder medmindre de eksplicit beder om det..Well, giver dig delvist ret 😉
Omkring BETA produkter; Rigtig nok at de ikke skal installeres i produktions miljøer, eller hos kunder medmindre de eksplicit beder om det..
Jeg har endnu ikke stødt på en SEO ekspert in action, så jeg kan lure de konceptuelle tricks der skal til for at indeksere et fuldt produkt katalog på fx 1 mill. vare. Jeg vil dog være så fræk at postulere at jeg hurtigere kan generere xml filen end du kan nå at SEO’e den del af sitet. Men nu kender jeg kun så den halve sandhed (min del og ikke din), så måske du kan overbevise mig om noget andet 😉
Fundamentalt vil jeg også mene at der er en forskel på at Google skal læse html siderne og ”gætte” sig til indeholdet, frem for eksplicit læse i en xml fil hvad den skal ledes efter. Og vi skal jo altid huske at det ene ikke udelukker det andet.
Hvis man brugt xhtml på websiderne (hvad alle burde gøre!) kunne man reelt definere et seo namespace og skrive direkte i siderne – det ville være übber cool.
Og selvfølgelig levere jeg god kvalitet, just try me… ved godt at branchen lider lidt af det modsatte, men det er så der jeg tjener min føde;)
Mikkel deMib Svendsen skriver
Det sidste amerikanske website jeg arbejdede (netop som indekseringsspecialist) på har ca. 60 millioner sider og det er gået meget godt. Jeg har arbejdet med mange andre i illionklassen og det går fint, hvis ellers dem der udvikler websitet så der tages de nødvendige hensyn. Mange programmører synes så desværre at brugernevlighed og søgemaskinevenlighed bare er “noget nogle skide Københavnske akademikere har fundet på…” 🙂
Din antagelse om processen er ikke helt rigtig. Alt det du siger søgemaskinerne skal gøre, gør de allerede. De besøger allerede websder og henter de informationer der er på dem – links, tekst og visse andre objekter. Spørgsmålet er alene, om arkitekturen på websitet tager hensyn til at nogle brugere, eller søgemaskiner, browser i det der i prncippet kunne sammenlignes med en tekst-browser uden cookie support og uden at eksekvere nogen form for klientbaseret kode.
Google, såvel som alle andre søgemaskiner, bliver nødt til, som du udtrykker det, at “gætte” sig til indholdet ved at læse den samme HTML-kode som brugerne får. Det dur simpelt hen ikke at fodre dem med indhold i f.eks. XML-format, fordi det for langt de fleste sites wedkommende ikke vil være korrekt i forhold til hvad der faktisk findes på siden og vises til brugerne. Dette skyldes en blanding af uvidenhed, ligegyldighed og ikke mindst bevist “svindel” med dette. Som sagt, søgemaskinerne HAr for lang tid siden erkendt at man IKKE kan overlade den slags til webmastere en-mass. men det er heller ikke det søgemaskinerne gør med XML-sitemaps (Yahoo har også et) …
Et XML sitemap, er i denne form ikke anderledes end et HTML-sitemap, bortset fra formeringen. Det er alene et kort, en fortegnelse, over de sider der findes på websitet. Søgemaskinerne skal stadig ud med robotterne og downloade indholdet, kigge på alle links, kigge på alle andre websites der linker til den enkelte side, lave alle mulige pre-beregninmger på det og så bygge et indiks ud af det.
Et sitemap er bare et kort. Et kort bruger man når det er svært at finde rundt. Et website bør ikke være svært at finde rundt på :)svært at
Frank Nielsen skriver
Kan sagtens se din pointe, der dog en væsentlig forskel imellem html og xml/xhtml, og det er at html ikke er well-formated som xml/xhtml er. Og det er her min pointe kommer ind omkring gætteriet, ved xml/xhml skal ikke gættes så meget på indholdet da det reelt kan beskrive indholdet direkte med tags’ene via forskellige namespaces. Man Webmastere siger at xhtml er for svært, hvilket jeg aldrig har forstået siden det 98% html, bare med de rigtig slut tags og lidt mere restriktivt.
Fordelen ved et sitemap fremfor at “gætte” sig igennem et halvdårlig kodet html side, er at det eksplicit står i filen og alt andet “støj” ( som css, javascript og irelevante tags) ikke findes…
Men jeg ved godt at jeg på dette punkt har en idealistisk indgangsvinkel, men hvis dette ikke bliver prædiket og gjort vil den omtalte kvalitet ikke blive bedre. Hvis alle standarder og formater blev overholdt, ville alting være nemmer og vi ville måske være arbejdsløse 😉
Mikkel deMib Svendsen skriver
Det er vigtigt med standarder, ordentlig kode og XML er da super fedt. MEN, søgemaskinernes opgave er, at “gøre verdens informationer tilgængelige” for nu at bruge Googles egne ord (sådan frit oversat). Og faktum er, at Internet udmærker sig ved at være særdeles anarkistisk og ufatteligt “rodet”. Det er det rod som søgemaskinerne skal forsøge at få styr på, så vi kan finde rundt i det hele.
Jeg synes det er fedt at Internet er blevet så tilgængeligt for så mange – også selvom man ikke staver rigtigt (hvilket også giver søgemaskinerne problemer) eller koder ordentligt. men naturloigvis skal man ikke forvente at man får så forbandet meget synlighed i søgemaskinerne hvis man koder uhensigtsmæssigt eller staver meget dårligt (eller i hvert fald anderledes end dem der søger …).
På mange måder bliver det hele lidt lettere at forstå, og acceptere, hvis du ser søgemaskinerne som en “handicapgruppe” 🙂 – brugere med helt særlige behov, men som der også er en værdi i at servicere ordentligt.
Casper Stendal skriver
Hej Mikkel
Lige en kort spørgsmål – og jeg skal være ærlig at sige, at jeg ikke ved om det har noget som helst med sitemaps at gøre.
Hvis du f.eks. søger efter “tdc” via Google, bliver tdc.dk (naturligvis!) listet øverst, men sammen med en række underlæggende links til forskellige områder på tdc.dk.
Eks:
Internet & TV – privat.tdc.dk/internet/
Privat – privat.tdc.dk/
Mobiltelefoni – privat.tdc.dk/mobil/
Kundeservice – kundeservice.tdc.dk/
Hvordan er det lige lavet?? 🙂
Mikkel deMib Svendsen skriver
Det har ikke rigtig noget med Google Sitemaps at gøre, så lad os gemme den snak til et andet tid og sted 🙂
Thomas Schulz skriver
Jeg tror nu efterhånden som både Yahoo, MSN, ASK.com og sågar IBM har annonceret support for XML sitemaps at det kun er et spørgsmål om tid før det slår igennem.
Under alle omstændigheder burde sitemaps kunne mindske dit serverload. Eksempel:
I stedet for at lave HEAD (og muligvis GET) requests for hver enkelt page kan de blot downloade dit sitemap fil of chekke det. Du kan også GZip dine XML sitemaps.
Mikkel deMib Svendsen skriver
Det er komplet ligegyldigt hvem og hvor mange der bakker op om sitemaps – det ændrer ikke ved de grundlæggende problemer der er med det.
Kod ordentligt, lav ordentlige webarkitekturer, og så har du overhovedet ikke brug for sitemaps. Og i alle fald vil sitemaps aldrig hjælpe dig med bedre rankings – værtimod. At blive indekseret alene er fuldkommen ligegyldigt hvis du ikke ranker og ikke får besøg ud af det.