Google’s mediabot bruges til almindelig crawling!

For nogle dage siden kunne Greg Boser dokumentere, at Google’s mediabot er begyndt at bidrage til det almindelige indeks. Jensense fulgte op med en detaljeret bekræftelse på Greg Bosers indlæg. For ikke søge-nørder kan det måske lyde som en ligegyldig nyhed, men det er det bestemt ikke. For det første, strider dette direkte imod alt hvad Google hidtil har sagt og skrevet offentligt. Faktisk gør de det meget klart på deres eget website, at den robot der crawler til det almindelige index, og mediabotten ingen forbindelse har til hinanden. Det viser sig nu at være løgn.

Som Google selv skriver på deres supportsider for AdSense:

Adding the Google AdSense ad code or AdSense for search code to your site will not queue your pages for crawling by our main index bots. While our bot (starting with ‘Mediapartners-Google’) does crawl content pages for the purpose of targeting ads, this crawl is not associated with our main index crawl.

Det er jo ikke til at misforstå!men der står fortsat samme tekst på ovenstående supportside. Er der nu nogle der længere kan undre sig, når jeg siger: Stol aldrig på hvad Google fortæller dig!

I dag kunne Matt Cuts så bekræfte at Google’s mediabot faktisk er begyndt at indsamle data til det almindelige indeks. Denne afsløring, eller konfirmation skulle man måske heller sige, fremkom ved et sponseret frokost arrangement i dag i Boston i forbindelse med konferencen PubCon.