Google Indexierung

Rankings kommen nicht von selbst. Eine Website oder auch eine Unterseite muss im Vorfeld erst einmal indexiert werden. Diese Indexierbarkeit einer Seite, also sprich inwiefern die Website überhaupt in den Index aufgenommen wurde bzw. aufgenommen werden kann, ist von größter Wichtigkeit bei der Suchmaschinenoptimierung.

Wie kommt meine Website in den Google Index?

Hier gibt es mehrere Möglichkeiten. Eine davon lautet: Abwarten, und zwar so lange bis die Google Crawler von sich auf Ihre Seite stoßen. In der Regel folgen die Crawler hierzu einem Signal im Internet. Auf diese Weise lernt Google automatisch Ihre Website kennen und wird sie anhand verschiedener Kriterien indexieren. Sie müssen also lediglich ein bisschen im Netz auf sich aufmerksam machen und Google wird sie automatisch finden. Als zweite Möglichkeit könnten Sie die URL einfach bei Google anmelden. Dies geht relativ einfach: Sie melden ein Google-Konto an und übermitteln die URL über folgenden Link

Für den Fall, dass Sie sich im Vorfeld schon ein Google-Konto eingerichtet haben, ist es empfehlenswert direkt die Webmaster Tools in Betrieb zu nehmen. Mit Hilfe der Webmaster Tools kann man die Indexierung der Website ebenso anhand verschiedener Methoden initiieren. So kann man beispielsweise die Domain verifizieren und bei Google eine XML-Sitemap von der ursprünglichen Homepage hinterlegen. Dieser Vorgang kann noch beschleunigt werden, indem man zusätzlich einen Abruf durch einen so genannten Googlebot anstößt. Die gecrawlten Elemente können dann im Anschluss an den Index gesendet werden.

9 Tipps zur Steigerung der Crawlability für die eigene Website

Hier folgen nun einige wichtige Tipps um dem Crawler die Indexierung der Website so angenehm und gleichermaßen effektiv wie möglich zu machen:

1. Die Webmaster Tools nutzen: Ihr erhaltet hier wertvolle Informationen für das richtige Crawling und gleichermaßen Fehlerfeedback wie auch aktuelle Statistiken zum Thema Crawling.
2. Die Navigationsarchitektur: Mit Hilfe einer durchdachten Navigation, frei von technischen sowie logischen Schwachstellen, vereinfacht Ihr der Suchmaschine Google das Crawling. Zudem wird sowohl die Interpretation als auch das Verständnis für die Website einfacher.
3. Page Speed: Ein überaus positiver Faktor für das Crawling ist eine gute Seitenladezeit
4. Die HTML-Fehler reduzieren: Diese Fehler sind für das Crawling sowie die Interpretation der Dokumentenstruktur sehr erschwerend.
5. JavaScript: Google veröffentlichte erst in diesem Jahr, dass von nun an JavaScript ausgeführt sowie zudem gecrawlt werden kann. Die Detailtiefe sowie die Vollständigkeit der JavaScript-Crawlings sind aber noch nicht bekannt.
6. Aus diesem Grund sollte man nicht davon ausgehen, dass es möglich ist auch komplexe Strukturen zu erfassen.
7. Um ganz sicher zu gehen, sollte am besten erst gar kein JavaScript verwendet werden, wenn die grundlegenden Elemente der jeweiligen Website realisiert werden sollen. Ein gutes Beispiel hierfür ist die Navigation.
8. Flash-basierte Websites: Eine Website die hauptsächlich aus Flash besteht, hat in der Regel immer gewisse Probleme bei SEO. Flash wird weder indexiert, noch gecrawlt.
9. Falsche Weiterleitungen: Eine Nicht-Indexierung kann auch infolge einer falschen Weiterleitung auftreten. 302-Weiterleitungen sind hier ein typisches Beispiel. Der Crawler erfährt im Datenpaketkopf nun, dass es sich bei der Seite X nur um eine temporäre Alternativseite der Seite Y handelt.
10. Überprüfung der Meta-Tags sowie Robots.txt: Das Crawling bzw. die Indexierung kann man sowohl in der Robots.txt, als auch in Meta-Robot-Tags verbieten. In diesem Zusammenhang muss unbedingt sichergestellt werden, dass in diesem Bereich keine ungünstigen Regeln definiert werden.
11. Die Frame-Sets: Ein besonderes Indexierungsverhalten legen die so genannten Frame-Sets an den Tag. Beispielsweise kann es demnach vorkommen, dass bei einem 2 Spalten-Layout mit einer linken Navigation diese von dem Crawler als 2 eigenständige Unterseiten gelistet werden. Frame-Sets sind generell nicht empfehlenswert.

Auch wenn im Bereich der Indexierbarkeit keine Probleme auftreten, sollte man sich dennoch die aufgelisteten Punkte einmal deutlich bewusst vor Augen führen. Macht euch bewusst, dass dem Googlebot nur wenig Ressourcen zur Verfügung stehen, die er in eure Website investieren könnte. Die eigene Crawlability zu optimieren kann somit die Crawlingfrequenz deutlich ansteigen lassen.

Wenn die Seite komplett aus dem Index genommen wurde

Ist eure Website bereits schon einmal indexiert worden, wurde nun aber aus irgendeinem Grund wieder vollkommen bzw. auch nur zum Teil wieder aus dem Index entfernt, kann dies verschiedene Ursachen haben. Ab diesem Zeitpunkt sollte man dann doch mal einen SEO - Experten um Rat bitten.

Penalty abprüfen

Als erstes gilt: Ruhe bewahren! Prüft in den Webmaster Tools ob ihr gegebenenfalls von Google abgestraft worden seid. Hierzu reicht es meistens schon einen Blick in den Posteingang auf die „Manuelle Maßnahmen“-unter „Suchanfragen“ nachzuschauen.

Liegt eventuell ein technisches Problem vor?

Ihr könnt euch in den Webmaster Tools unter anderem auch eventuell vorliegende Crawling-Fehler anzeigen lassen. Treten in diesem Bereich ungewöhnliche Verhaltensmuster auf, sollte man sich am Besten direkt in der Serverumgebung sowie auf der Website umsehen.

Die Website analysieren

In der Regel findet sich das Problem auf der Website selbst wieder. Daher sollte man analysieren, ob man eventuell Elemente verwendet, die die einwandfreie Indexierung verhindert. Ebenso muss geprüft werden, ob man fehlende Weiterleitungen verwendet hat. In jedem Fall lohnt sich ein regelmäßiges Crawling mit einem Hilfstool wie z.B. ScreamingFrog oder auch Xenu. Hierdurch kann man sich schnell und gut einen Überblick über das allgemeine Crawlingverhalten machen. Auch für den Fall, dass nur gewisse Teile der Website nicht im Index auftauchen, sollte man sich die Seiten genauer anschauen.

Wenn doch aber mal alle Stricke reißen sollten und man selbst auch nicht mehr weiter weiß, lohnt sich ein Anruf beim SEO-Experten. Das Thema Crawlability ist zu wichtig, als dass man im schlimmsten Fall einen massiven Verlust hinnehmen muss, ohne sich vorher Rat geholt zu haben.