Googlebot

Wie der Googlebot funktioniert, beschreibt Google relativ genau. Google beschreibt sogar, dass es eigentlich zwei Googlebots sind, einen Computer-Crawler und einen mobilen Crawler.

Der Googlebot ist ein Web-Crawler oder ein Web-Spider

Er durchsucht das Internet nach Webseiten. Er ist somit ein Softwareprogramm, welches unermüdlich und rund um die Uhr nach neuen Inhalten sucht. Findet der Bot eine neue Seite, analysiert er diese und legt die gefundenen Infos in einer Datenbank ab. Auch bereits bestehende Seiten besucht der Bot und falls diese seit dem letzten Besuch geändert wurden, speichert er auch die Änderungen.

Für die Suchmaschinenoptimierung bedeutet dies, dass man auch bestehende Seiten durchaus anpassen kann und dies auch tun sollte. Denn für den Googlebot sind vor allem Seiten mit neuem Content interessant und relevant. Für die Speicherung der vom Googlebot gefundenen Daten spielt dann die Indexierung eine wichtige Rolle.

Wie macht das der Bot?

Darüber lässt sich eigentlich nur spekulieren, denn Google lässt sich verständlicherweise hier nicht in die Karten schauen. Da wir aber wissen, dass sich Google stets für neuen und relevanten Inhalt interessiert, können wir davon ausgehen, dass der Googlebot die gefundenen Daten seinen ausgeklügelten Regeln entsprechend indexiert. Effektiv ist heute auch davon auszugehen, dass diese Arbeit mittlerweile eine Künstliche Intelligenz übernommen hat und dass es aus diesem Grund gar keine festgeschriebenen Regeln mehr gibt. Ist der Bot mit einer Seite fertig, folgt er den internen Links, so lange bis die gesamte Domain gecrawlt ist.

Dem Googlebot helfen

Der Googlebot arbeitet selbständig und braucht eigentlich unsere Hilfe nicht. Er kommt auch mit Sicherheit einmal bei unserer Webseite vorbei und nimmt die Indexierung vor. Sind wir allerdings gerade an der Google Optimierung und arbeiten an SEO, dann möchten wir dies natürlich beschleunigen und auch genau wissen, wann der Googlebot das letzte Mal unsere Seite gecrawlt hat. Dies können wir mit Hilfe der Google Search Console tun. Besser gesagt, wir können uns bei der Google Search Console anmelden und Google über diesen Weg Sitemaps (xml-Dateien) mitgeben. Damit findet und versteht der Googlebot unsere Webseite besser.
Wichtig ist auch dass der Bot die Datei robots.txt findet und die darin enthaltenen Instruktionen für die Indexierung einsetzt.

Sitemaps auf Google Search Console

Der Googlebot findet uns

Dafür haben wir nun ja gesorgt. Nun müssen wir noch dafür sorgen, dass er unsere Seite auch richtig interpretiert! Oder in anderen Worten, dass Google unsere Seite für wichtig interpretiert und den Lesern auch präsentiert. Dazu überlegen wir uns erst einmal, wie wir so eine Webseite interpretieren würden. Stellen Sie sich also vor, Sie kriegen eine Webseite im html-Format vorgelegt. Nun sollen Sie entscheiden um was es bei dieser Seite geht. So in etwa ergeht es dem Googlebot. Denn dieser sieht Ihre Seite ja lediglich via html-Code. Wenn man sich dies einmal genau überlegt, dann wird auch sofort klar, wie hilfreich die verschiedenen Tags und Meta-Daten sein können. Klar, man muss diese nicht zwingend einsetzen, aber mit deren Hilfe wird vieles viel einfacher. Trotzdem findet man heute noch sehr viele Webseiten, die im Title Tag nur Ihren Firmennamen haben oder noch „besser“, den Begriff „Home“.

Benutzen Sie dem Googlebot zuliebe Meta Tags

Oft wird auch auf eine Meta Description verzichtet. Klar, Google baut sich dann seine eigene Beschreibung zusammen. Aber hier vergibt man sich eine weitere Chance betreffend SEO zu punkten. Auch die URL selbst kann demjenigen, der Ihre Webseite richtig einordnen soll, nämlich dem Googlebot, sehr viel verraten. Auch hier wird oft auf eine Aussage verzichtet, um was es auf dieser Webseite geht. Nutzen Sie diese Möglichkeiten, nicht nur dem Googlebot zuliebe. Denn damit können Sie auf leichte Art und Weise Ihr Website Ranking wesentlich verbessern.

Der Googlebot und die Keyword Analyse

Wie Sie von der Keyword Analyse her wissen, sollten Sie sich pro URL auf ein Keyword konzentrieren. Nun müssen Sie noch dafür sorgen, dass Google, bzw. der Googlebot dieses Keyword auch erkennt. Aus diesem Grund sorgen Sie dafür, dass das Keyword möglichst

  • in der URL
  • dem Title Tag
  • der Meta Description
  • in den Überschriften
  • in fett oder auch kursiv hervorgehobenen Textstellen

vorkommt. Denn diese werden im html-Code ja speziell markiert. Und der Googlebot wird hier mit Sicherheit stärker gewichten. Aber bitte hier nicht überoptimieren. Setze Sie das Keyword nur dort ein wo es effektiv auch Sinn macht. Der Leser Ihrer Webseite wird es Ihnen danken! Bei einem SEO Check sind das übrigens diejenigen Fehler, die als erstes auffallen.

Wie lange dauert es, bis meine Seite wieder besucht wird?

Hier gibt es keine genaue Aussage. Im folgenden Youtube Video erklärt Google, wie oft der Googlebot eine Seite besucht. Demzufolge indiziert Google jene Webseiten öfter, die in der Vergangenheit geändert wurden. Konkret erklärt Google, dass wenn der Bot eine Seite 18 mal crawlt und dabei nie Änderungen feststellt, dass es dann bis zum nächsten Crawl etwas länger dauern kann.

Für die Suchmaschinenoptimierung heisst das, dass wenn Google erkennt, dass jemand aktiv an einer Webseite bzw. einer Domain arbeitet, Google auch öfters den Googlebot vorbeischickt. Das ist jetzt etwas bildlich gesprochen. Denn in Wirklichkeit sind das ja auch wieder Softwareprogramme, welche die Bots steuern.

Können wir Sie bei der Optimierung Ihrer Webseite unterstützen?

Dann kommen Sie auf uns zu!