Eine neue Website besitzt keinen automatischen Eintrag in einem zentralen Verzeichnis des Internets.
Du kannst heute eine Domain registrieren, WordPress installieren, einen hervorragenden Artikel veröffentlichen und die Website technisch vollständig erreichbar machen. Trotzdem muss eine Suchmaschine zunächst erfahren, dass diese URL überhaupt existiert.
Dafür durchsuchen automatisierte Programme permanent das Web.
Google bezeichnet seinen Webcrawler als Googlebot. Neue URLs entdeckt Google vor allem über Links auf bereits bekannten Seiten. Eine XML-Sitemap kann zusätzlich dabei helfen, neue oder aktualisierte URLs mitzuteilen. Google selbst beschreibt seine Suche vereinfacht in drei Stufen: Crawling, Indexierung und anschließend die Auslieferung von Suchergebnissen. (Google for Developers)
Damit ergibt sich bereits eine der wichtigsten SEO-Grundlagen:
Veröffentlichen, gefunden werden, gecrawlt werden, indexiert werden und ranken sind fünf unterschiedliche Dinge.
Eine veröffentlichte Seite ist zunächst nur erreichbar
Angenommen, wir veröffentlichen:
Der Webserver kennt diese URL.
Ein Besucher, der sie direkt eingibt, kann die Seite aufrufen.
Das bedeutet jedoch noch nicht, dass Google die Adresse kennt.
Google benötigt zunächst einen Weg, die URL zu entdecken. Es gibt keine zentrale Liste, bei der jede neu veröffentlichte Webseite automatisch angemeldet wird. Google muss neue und veränderte Seiten fortlaufend selbst entdecken. (Google for Developers)
Die erste Hürde lautet deshalb:
Discovery – die Entdeckung der URL.
Links sind die Straßen des Webs
Eine der wichtigsten Möglichkeiten zur URL-Entdeckung sind Links.
Googlebot besucht eine bereits bekannte Seite und findet darin beispielsweise:
<a href="/wissen/was-ist-dns/">Was ist DNS?</a>
Damit erhält der Crawler eine neue URL, die er möglicherweise später aufruft.
Google erklärt ausdrücklich, dass Googlebot neue URLs hauptsächlich über Links entdeckt, die in zuvor gecrawlten Seiten gefunden wurden. (Google for Developers)
Das ist einer der Gründe, warum Links technisch und strukturell so wichtig sind.
Sie helfen Menschen bei der Navigation.
Und sie helfen Suchmaschinen dabei, den Zusammenhang zwischen Seiten zu entdecken.
Interne Links sind deshalb weit mehr als SEO-Dekoration
Wenn wir auf Casiopeya einen Artikel über DNS veröffentlichen und von der Seite Wie funktioniert eine Website? darauf verlinken, entsteht ein nachvollziehbarer Weg:
Web & WordPress
↓
Wie funktioniert eine Website?
↓
Was ist DNS?
Ein Besucher kann diesem Pfad folgen.
Ein Crawler ebenfalls.
Google verwendet Links sowohl zum Entdecken neuer Seiten als auch als Signal, um Inhalte und ihre Beziehungen besser einzuordnen. (Google for Developers)
Interne Verlinkung ist deshalb gleichzeitig Navigation, Informationsarchitektur und technische Hilfe für Suchmaschinen.
Nicht jeder scheinbare Link ist für einen Crawler gleich gut
Für Google ist die zuverlässigste klassische Linkform ein HTML-a-Element mit einem href-Attribut.
Zum Beispiel:
<a href="/wissen/caching/">Caching einfach erklärt</a>
Google weist darauf hin, dass Links in anderen Konstruktionen nicht unbedingt zuverlässig als crawlbare Links erkannt werden. Insbesondere ein Element, das nur über ein JavaScript-Ereignis wie einen Link funktioniert, ist nicht mit einem normalen a href gleichzusetzen. (Google for Developers)
Für normale WordPress-Inhalte muss man sich darüber kaum Gedanken machen.
Der Editor erzeugt gewöhnlich klassische HTML-Links.
Bei individuell programmierten Navigationen und JavaScript-Anwendungen wird dieser Unterschied dagegen relevant.
Externe Links können eine neue Website bekannt machen
Eine neue Domain besitzt möglicherweise noch keinen einzigen Link von einer bereits bekannten Website.
Dann kann es länger dauern, bis ein Crawler sie auf natürlichem Weg entdeckt.
Verlinkt dagegen eine bereits gecrawlte Website auf die neue Domain, kann der Crawler diesem Link folgen und dadurch die neue Seite kennenlernen.
Google nennt wenige externe Links ausdrücklich als einen Grund, warum eine neue Website schwieriger zu entdecken sein kann. (Google for Developers)
Das bedeutet allerdings nicht, dass möglichst viele beliebige Links benötigt werden.
Für die reine Entdeckung genügt grundsätzlich bereits ein Weg zur URL.
Die Frage, wie Links später als Ranking- und Relevanzsignale wirken, ist ein eigenes wesentlich komplexeres Thema.
Eine Sitemap ist ein zweiter Weg zur Entdeckung
Eine XML-Sitemap ist eine maschinenlesbare Datei, in der eine Website Suchmaschinen URLs mitteilen kann.
Sie kann beispielsweise enthalten:
<url>
<loc>https://example.de/wissen/was-ist-dns/</loc>
</url>
Google beschreibt Sitemaps als Möglichkeit, Informationen über wichtige Seiten und Dateien einer Website sowie deren Aktualisierung bereitzustellen. Sie können insbesondere bei großen, neuen oder komplex aufgebauten Websites die Entdeckung verbessern. (Google for Developers)
Die Sitemap ist also gewissermaßen eine Liste:
Diese URLs meiner Website halte ich für relevant.
Eine Sitemap ist keine Eintrittskarte in den Index
Dieser Unterschied ist enorm wichtig.
Wenn eine URL in einer XML-Sitemap steht, bedeutet das nicht automatisch:
Google crawlt sie sofort.
Google indexiert sie.
Google zeigt sie in den Suchergebnissen.
Google gibt ihr bessere Rankings.
Google weist ausdrücklich darauf hin, dass eine Sitemap weder Crawling noch Indexierung garantiert und auch kein Rankingbonus allein durch ihre Existenz entsteht. (Google for Developers)
Eine Sitemap ist ein Hinweis auf URLs.
Mehr nicht – und genau dafür ist sie sehr nützlich.
Kleine Websites können auch ohne Sitemap gefunden werden
Wenn sämtliche wichtigen Seiten einer Website sauber intern miteinander verbunden sind, kann Google viele davon bereits über Links entdecken.
Google schreibt selbst, dass bei gut intern verlinkten Websites die meisten Seiten auch ohne Sitemap gefunden werden können. Besonders nützlich wird eine Sitemap bei größeren Websites, neuen Seiten mit wenigen externen Links oder umfangreichen Medienbeständen. (Google for Developers)
Für WordPress-Websites spricht trotzdem wenig dagegen, eine saubere Sitemap bereitzustellen.
Moderne CMS können sie weitgehend automatisch erzeugen.
WordPress erzeugt häufig bereits eine Sitemap
Bei modernen Content-Management-Systemen muss die Sitemap oft nicht von Hand geschrieben werden.
Google weist ausdrücklich darauf hin, dass Systeme wie WordPress häufig bereits eine Sitemap bereitstellen. (Google for Developers)
SEO-Plugins können zusätzlich eigene Sitemap-Funktionen besitzen.
Wichtig ist weniger, welches Werkzeug die Datei erzeugt.
Entscheidend ist, dass darin die Seiten stehen, die tatsächlich indexierbar und für die Website relevant sein sollen.
Entdeckung ist noch kein Crawling
Google kennt nun möglicherweise eine URL.
Das bedeutet noch nicht zwangsläufig, dass sie im selben Moment aufgerufen wird.
Entdeckte URLs gelangen vereinfacht in Prozesse, in denen entschieden wird, wann ein Crawler sie besucht. Google macht keine Garantie, wann oder ob eine bestimmte URL gecrawlt oder indexiert wird. (Google for Developers)
Die zweite Stufe lautet:
Crawling.
Dabei ruft der Crawler die URL tatsächlich ab.
Was macht ein Crawler?
Ein Webcrawler ist ein automatisiertes Programm, das Webseiten aufruft.
Er verhält sich in mancher Hinsicht ähnlich wie ein Browser.
Er fordert eine URL an.
Der Server antwortet.
Der Crawler analysiert die erhaltenen Inhalte.
Er entdeckt darin möglicherweise weitere Links.
Diese neuen URLs können wiederum später gecrawlt werden.
Dadurch entsteht ein fortlaufender Prozess:
Seite A
↓
Links entdecken
↓
Seite B und Seite C
↓
dort weitere Links entdecken
↓
Seite D, E und F
So kann sich ein Crawler schrittweise durch große Teile des öffentlichen Webs bewegen. Google beschreibt genau diesen Discovery- und Crawlprozess als Grundlage seiner Suche. (Google for Developers)
Der Server muss dem Crawler antworten können
Crawling funktioniert nur, wenn die Website technisch erreichbar ist.
Probleme mit Server, Netzwerk oder DNS können Google daran hindern, eine Seite erfolgreich abzurufen. Auch robots.txt-Regeln können den Zugriff des Googlebots auf bestimmte URLs verhindern. (Google for Developers)
Damit verbinden sich unsere bisherigen Grundlagen unmittelbar mit SEO:
DNS muss funktionieren.
Das Hosting muss erreichbar sein.
HTTPS muss korrekt funktionieren.
Der Webserver muss passende Antworten liefern.
Technisches SEO beginnt lange bevor irgendein Keyword in einer Überschrift steht.
HTTP-Statuscodes sprechen mit dem Crawler
Beim Aufruf einer URL liefert der Server nicht nur Inhalt.
Er liefert auch einen HTTP-Statuscode.
Eine vorhandene normale Seite antwortet typischerweise mit:
200 OK
Eine dauerhaft verschobene Seite kann über:
301
auf ihre neue Adresse verweisen.
Eine nicht mehr vorhandene URL sollte beispielsweise:
404 Not Found
oder gegebenenfalls 410 Gone
zurückgeben.
Google empfiehlt für dauerhaft verschobene Inhalte eine permanente Weiterleitung und für tatsächlich entfernte Inhalte ohne Ersatz einen korrekten 404- beziehungsweise 410-Status. (Google for Developers)
Der Statuscode hilft der Suchmaschine dabei, zu verstehen, was mit einer URL passiert ist.
Eine hübsche Fehlerseite ist nicht automatisch ein korrekter 404
Eine Website kann einen Text anzeigen:
Diese Seite wurde leider nicht gefunden.
und technisch trotzdem mit:
200 OK
antworten.
Für einen Menschen sieht sie wie eine Fehlerseite aus.
Für den Server war die Anfrage jedoch angeblich erfolgreich.
Solche Situationen können von Google als sogenannte Soft-404-Probleme erkannt werden. Google empfiehlt, bei tatsächlich nicht vorhandenen Seiten einen korrekten 404- oder 410-Status zurückzugeben. (Google for Developers)
Das zeigt, warum Suchmaschinen nicht nur sichtbaren Text, sondern auch technische Signale betrachten.
robots.txt steuert Crawling
Im Stamm einer Website kann eine Datei namens:
robots.txt
liegen.
Beispielsweise:
Darin können Regeln stehen, welche Bereiche bestimmte Crawler anfordern dürfen.
Google beschreibt die robots.txt in erster Linie als Werkzeug zur Steuerung des Crawlerzugriffs beziehungsweise der Crawlerlast. Sie ist ausdrücklich nicht das richtige Werkzeug, um sicher zu verhindern, dass eine Webseite in den Google-Suchergebnissen auftaucht. (Google for Developers)
Das ist einer der häufigsten technischen SEO-Irrtümer.
„Nicht crawlen“ und „nicht indexieren“ sind verschieden
Stell dir vor, eine URL ist durch robots.txt gesperrt.
Google kann ihren eigentlichen Inhalt dann nicht abrufen.
Die URL könnte der Suchmaschine aber trotzdem aus anderen Quellen bekannt sein – beispielsweise durch Links.
Google weist deshalb ausdrücklich darauf hin, dass eine durch robots.txt blockierte URL unter Umständen trotzdem in Suchergebnissen erscheinen kann. (Google for Developers)
Wenn eine Seite definitiv nicht in Googles Index erscheinen soll, ist noindex das passendere Signal.
Was bedeutet noindex?
Eine HTML-Seite kann beispielsweise enthalten:
<meta name="robots" content="noindex">
Damit wird unterstützten Suchmaschinen mitgeteilt, dass diese Seite nicht indexiert werden soll.
Google erklärt, dass eine erfolgreich gecrawlte Seite mit noindex aus den Google-Suchergebnissen entfernt beziehungsweise nicht indexiert wird. (Google for Developers)
Der wichtige Haken lautet:
Google muss die Seite crawlen können, um dieses noindex überhaupt zu sehen.
robots.txt plus noindex kann deshalb die falsche Kombination sein
Angenommen, du setzt:
noindex
in eine Seite.
Gleichzeitig sperrst du dieselbe URL über robots.txt.
Nun darf Google die Seite nicht abrufen.
Damit kann Google unter Umständen auch das noindex-Signal gar nicht auslesen.
Google weist ausdrücklich darauf hin, dass eine Seite nicht über robots.txt blockiert sein darf, wenn Google ein darauf befindliches noindex zuverlässig verarbeiten soll. (Google for Developers)
Das ist ein schönes Beispiel dafür, warum SEO-Schalter ohne Verständnis ihrer Ebene gefährlich werden können.
Für wirklich private Inhalte braucht man Zugangsschutz
Weder robots.txt noch noindex sind ein Sicherheitssystem.
Wenn sensible Inhalte nicht öffentlich zugänglich sein sollen, müssen sie tatsächlich geschützt werden – beispielsweise durch Authentifizierung oder Passwortschutz.
Google empfiehlt für Inhalte, die weder Benutzer ohne Berechtigung noch Crawler erreichen sollen, entsprechende Zugangsbeschränkungen statt bloßer Suchmaschinenanweisungen. (Google for Developers)
Eine öffentlich erreichbare Datei bleibt öffentlich erreichbar, auch wenn man Google bittet, sie nicht zu indexieren.
Nach dem Crawling folgt die Verarbeitung
Google hat nun eine Seite heruntergeladen.
Damit ist sie immer noch nicht automatisch im Index.
Während der Verarbeitung versucht die Suchmaschine, den Inhalt der Seite zu verstehen.
Google analysiert dabei unter anderem Text, Bilder und wichtige HTML-Informationen wie Titel und Bildattribute. Außerdem versucht Google festzustellen, ob eine Seite ein Duplikat einer anderen URL ist und welche Version als kanonische Seite behandelt werden soll. (Google for Developers)
Die nächste Stufe lautet:
Indexierung.
Was ist ein Suchmaschinenindex?
Man kann sich einen Suchmaschinenindex vereinfacht wie eine gigantische strukturierte Wissenssammlung über bekannte Webseiten vorstellen.
Die Suchmaschine speichert nicht einfach eine ungeordnete Liste aller URLs.
Sie verarbeitet Informationen darüber:
welcher Inhalt vorhanden ist,
worum es auf der Seite geht,
welche anderen Seiten damit zusammenhängen,
welche Version eines Inhalts als maßgeblich betrachtet wird.
Google bezeichnet seinen Index selbst als große Datenbank, in der Informationen aus analysierten Seiten gespeichert werden. (Google for Developers)
Erst eine indexierte Seite kann regulär als Ergebnis für passende Google-Suchanfragen berücksichtigt werden.
Crawling garantiert keine Indexierung
Dieser Punkt ist für Website-Betreiber oft irritierend.
Die Search Console kann anzeigen:
Google hat die URL gecrawlt.
Trotzdem befindet sie sich nicht im Index.
Das ist kein logischer Widerspruch.
Google erklärt ausdrücklich, dass nicht jede gecrawlte Seite zwangsläufig indexiert wird und keine Garantie für Crawling oder Indexierung besteht. Gründe können unter anderem in Inhalt, technischen Signalen oder der Einordnung als Duplikat liegen. (Google for Developers)
Crawling bedeutet:
Google hat sich die Seite angesehen.
Indexierung bedeutet:
Google hat entschieden, sie in seinen Suchindex aufzunehmen.
Indexiert bedeutet wiederum nicht „gutes Ranking“
Angenommen, der Artikel ist nun im Index.
Auch das garantiert nicht, dass er bei einer bestimmten Suche auf Seite eins erscheint.
Wenn jemand nach:
DNS einfach erklärt
sucht, muss Google aus seinem Index diejenigen Ergebnisse auswählen, die es für die Suchanfrage als relevant und qualitativ geeignet betrachtet.
Google beschreibt diese dritte Phase als Serving beziehungsweise Auslieferung von Suchergebnissen. Dabei werden abhängig von der Suchanfrage passende Ergebnisse aus dem Index ausgewählt; Relevanz wird mit zahlreichen Signalen bestimmt. (Google for Developers)
Damit haben wir drei klar getrennte Ebenen:
Crawling
↓
Indexierung
↓
Ranking und Auslieferung
Ranking beginnt erst nach der Indexierung
Viele SEO-Diskussionen springen direkt zu Rankings.
Dabei ist das technisch zu früh.
Eine Seite kann für das beste Keyword der Welt optimiert sein.
Wenn sie nicht entdeckt wird, geschieht nichts.
Wenn sie nicht gecrawlt werden kann, geschieht nichts.
Wenn sie nicht indexiert wird, kann sie für normale Websuchergebnisse ebenfalls nicht entsprechend ranken.
SEO besitzt deshalb eine natürliche Reihenfolge:
auffindbar
↓
crawlbar
↓
indexierbar
↓
verständlich
↓
relevant
↓
wettbewerbsfähig
Wer die ersten Ebenen ignoriert, versucht möglicherweise Inhalte zu optimieren, die die Suchmaschine gar nicht sinnvoll verarbeiten kann.
JavaScript fügt eine zusätzliche Stufe hinzu
Bei klassischen serverseitig erzeugten Webseiten enthält die Antwort des Servers bereits einen großen Teil des eigentlichen Inhalts.
Bei JavaScript-Anwendungen kann zunächst dagegen nur eine Grundstruktur geliefert werden.
Der Browser führt anschließend JavaScript aus und erzeugt daraus weitere Inhalte.
Google kann JavaScript ausführen und verwendet für sein Web Rendering einen aktuellen Chromium-basierten Renderer. Google beschreibt den Ablauf bei JavaScript-Seiten als Crawling, Rendering und anschließende Indexierung. (Google for Developers)
Damit kann vereinfacht entstehen:
URL crawlen
↓
HTML lesen
↓
JavaScript rendern
↓
gerenderten Inhalt analysieren
↓
indexieren
JavaScript ist nicht grundsätzlich schlecht für SEO
Der häufige Satz:
Google kann JavaScript nicht lesen.
ist heute falsch.
Google kann JavaScript grundsätzlich ausführen und gerenderte Inhalte verarbeiten. Trotzdem weist Google auf technische Unterschiede und Einschränkungen hin. Andere Suchmaschinen können JavaScript zudem anders behandeln oder teilweise ignorieren. (Google for Developers)
Für wichtige öffentliche Inhalte bleibt es deshalb robust, wenn sie möglichst zuverlässig und ohne unnötige Interaktion erreichbar sind.
Inhalte sollten nicht erst nach einem Benutzerklick erscheinen müssen
Angenommen, ein Artikel lädt die Hälfte seines Textes erst, wenn der Besucher auf:
„Mehr anzeigen“
klickt.
Suchmaschinen interagieren nicht zwangsläufig so mit einer Seite wie ein Mensch.
Google weist beispielsweise beim Lazy Loading ausdrücklich darauf hin, dass relevante Inhalte nicht von Aktionen wie Scrollen oder Klicken abhängig sein sollten, damit sie zuverlässig für den Crawler verfügbar werden. (Google for Developers)
Für normale WordPress-Artikel ist das selten ein Problem.
Bei komplexen JavaScript-Oberflächen sollte es bewusst geprüft werden.
Google kann nach dem Rendering weitere Links entdecken
Auch Links können erst durch JavaScript entstehen.
Google beschreibt, dass nach dem Rendering das resultierende HTML erneut auf Links untersucht werden kann und gefundene URLs wiederum zum Crawling vorgemerkt werden können. (Google for Developers)
Trotzdem ist eine saubere klassische Linkstruktur meist die robustere Lösung.
Vor allem zentrale Navigation und wichtige interne Beziehungen sollten nicht unnötig von komplizierten JavaScript-Mechanismen abhängen.
Canonicalisierung entscheidet zwischen ähnlichen URLs
Eine Website kann denselben oder nahezu denselben Inhalt unter mehreren URLs bereitstellen.
Zum Beispiel:
https://example.de/artikel/
https://example.de/artikel/?utm_source=newsletter
Oder früher:
http://example.de/artikel/
https://example.de/artikel/
Suchmaschinen müssen dann entscheiden, welche Version als repräsentative URL behandelt wird.
Google bezeichnet diesen Vorgang als Canonicalization. Dabei wird aus einer Gruppe sehr ähnlicher oder doppelter Seiten eine kanonische URL ausgewählt. (Google for Developers)
Das Canonical-Tag ist ein Hinweis, kein absoluter Befehl
Eine Website kann beispielsweise angeben:
<link rel="canonical" href="https://example.de/artikel/">
Damit signalisiert sie ihre bevorzugte URL.
Google bezeichnet rel="canonical" als starkes Signal, behält sich aber vor, anhand weiterer Informationen eine andere kanonische URL zu wählen. Auch Weiterleitungen und Sitemap-Signale können bei der Canonicalisierung eine Rolle spielen. (Google for Developers)
Das Canonical-Tag ist deshalb kein magischer Schalter zum Verstecken unerwünschter Seiten.
Es hilft bei der Zusammenführung ähnlicher URL-Versionen.
Saubere URLs erleichtern die gesamte Architektur
Eine Website kann technisch sehr komplizierte URL-Strukturen erzeugen.
Filter, Sortierungen, Sessionparameter und andere Funktionen können aus wenigen Inhalten tausende URL-Varianten erzeugen.
Google empfiehlt crawlbare, logisch aufgebaute URL-Strukturen und warnt davor, Inhalte hauptsächlich über URL-Fragmente wie #/seite zu steuern. (Google for Developers)
Für ein Wissensportal ist eine klare Struktur deshalb nicht nur angenehm für Leser.
Sie reduziert auch technische Mehrdeutigkeit.
Genau deshalb verwenden wir bei Casiopeya kurze Artikel-URLs wie:
/wissen/was-ist-dns/
statt komplexer Parameterkonstruktionen.
Interne Verlinkung zeigt Beziehungen zwischen Inhalten
Wenn ein Artikel über Webhosting auf DNS, Domain und Server verweist, entsteht nicht nur eine Sammlung einzelner Seiten.
Es entsteht ein Themenmodell.
Google verwendet Links sowohl zum Entdecken von URLs als auch als Relevanzsignal. Der Linktext hilft zusätzlich dabei, den Zusammenhang zwischen Ausgangs- und Zielseite verständlicher zu machen. (Google for Developers)
Deshalb ist ein Linktext wie:
Was ist DNS?
meist aussagekräftiger als:
hier klicken.
Der Mensch versteht das Ziel.
Die Suchmaschine ebenfalls besser.
Eine wichtige Seite sollte nicht vollkommen isoliert sein
Angenommen, wir veröffentlichen einen hervorragenden Artikel.
Er steht in der Sitemap.
Aber von keiner anderen Seite der Website führt ein Link dorthin.
Technisch kann Google ihn über die Sitemap entdecken.
Für Besucher ist er jedoch praktisch unsichtbar.
Eine gute Website sollte wichtige Inhalte deshalb in ihre Informationsarchitektur einbetten.
Google nennt eine umfassende interne Verlinkung ausdrücklich als Grund, weshalb Seiten auch ohne Sitemap zuverlässig entdeckt werden können. (Google for Developers)
SEO und gute Navigation verfolgen hier dasselbe Ziel.
Tiefe allein ist weniger wichtig als Erreichbarkeit
Eine Seite muss nicht zwingend direkt im Hauptmenü stehen.
Ein Wissensportal mit tausenden Artikeln könnte unmöglich jeden Beitrag dort verlinken.
Wichtig ist vielmehr, dass ein nachvollziehbarer interner Weg existiert:
Startseite
↓
Wissen
↓
Web & WordPress
↓
Performance
↓
Caching
Containerseiten, verwandte Artikel und kontextuelle Links können ein sinnvolles Netzwerk bilden.
Eine Suchmaschine kann diesen Wegen folgen.
Der Leser ebenfalls.
Eine XML-Sitemap ersetzt dieses Netzwerk nicht
Man könnte theoretisch sämtliche Artikel nur in die Sitemap schreiben und auf interne Verlinkung verzichten.
Für reine URL-Entdeckung könnte das teilweise funktionieren.
Für die Website wäre es trotzdem eine schlechte Architektur.
Besucher könnten Inhalte kaum finden.
Thematische Zusammenhänge wären schwächer sichtbar.
Eine Sitemap ist deshalb Ergänzung und keine Alternative zur internen Navigation.
Wie erfahre ich, ob Google eine URL kennt?
Dafür ist die Google Search Console besonders nützlich.
Mit der URL-Prüfung kann der Betreiber für eine verifizierte Website Informationen über eine konkrete URL und deren Google-Indexstatus untersuchen. Google nennt die URL Inspection ausdrücklich als zuverlässigeres Debugging-Werkzeug als einfache Suchoperatoren. (Google for Developers)
Damit lässt sich beispielsweise besser untersuchen:
Ist die URL bekannt?
Wurde sie gecrawlt?
Ist sie indexiert?
Welche kanonische URL wurde ausgewählt?
Gibt es technische Hindernisse?
Eine site:-Suche ist nur ein grober Hinweis
Man kann bei Google beispielsweise suchen:
site:example.de
Das kann einen schnellen Eindruck vermitteln, welche Inhalte einer Domain in Suchergebnissen auftauchen.
Google weist jedoch ausdrücklich darauf hin, dass der site:-Operator nicht notwendigerweise sämtliche indexierten URLs vollständig anzeigt und für Debugging die URL-Prüfung in Search Console zuverlässiger ist. (Google for Developers)
Deshalb sollte aus:
Ich sehe nur 100 Treffer bei site:
nicht automatisch geschlossen werden:
Google hat exakt 100 Seiten indexiert.
Kann man Google bitten, eine Seite neu zu crawlen?
Für einzelne URLs kann über die Search Console eine erneute Prüfung beziehungsweise ein erneutes Crawling angestoßen werden.
Das ist beispielsweise nach wichtigen Änderungen oder bei einer neuen Seite nützlich.
Es bleibt aber eine Anfrage.
Google garantiert weder den genauen Zeitpunkt noch die spätere Indexierung. (Google for Developers)
Für einen normalen Veröffentlichungsprozess sollte man deshalb nicht jeden einzelnen Artikel manuell anmelden müssen.
Eine saubere Website sorgt automatisch dafür, dass neue Inhalte über interne Links und Sitemap auffindbar werden.
Neue Artikel sollten automatisch in das System eingebunden werden
Ein guter WordPress-Workflow könnte so aussehen:
Artikel veröffentlichen
↓
URL wird in Sitemap aufgenommen
↓
Artikel erscheint auf relevanter Übersichtsseite
↓
bestehende passende Artikel verlinken darauf
↓
Crawler entdeckt die URL
↓
Crawling
↓
mögliche Indexierung
Damit wird Indexierbarkeit Teil der normalen redaktionellen Architektur.
Genau das ist besser als später hunderte verwaiste Seiten einzeln über die Search Console einzureichen.
Warum wird eine Seite trotz Sitemap nicht indexiert?
Dafür kann es zahlreiche Gründe geben.
Eine Sitemap sagt lediglich:
Diese URL möchte ich dir mitteilen.
Google kann anschließend trotzdem entscheiden, die Seite nicht zu indexieren. Google nennt unter anderem technische Indexierungsregeln, Duplikate und die Qualität beziehungsweise Bedeutung von Inhalten als mögliche Faktoren im Indexierungsprozess. (Google for Developers)
Deshalb sollte bei Problemen nicht automatisch die Sitemap verdächtigt werden.
Vielleicht funktioniert sie vollkommen korrekt.
„Gecrawlt – zurzeit nicht indexiert“ ist keine Aufforderung zum Keyword-Stuffing
Wenn Google eine Seite kennt und gecrawlt hat, ist die Discovery-Ebene bereits erfolgreich.
Mehr Keywords in den ersten Absatz zu schreiben löst deshalb nicht automatisch das Problem.
Jetzt muss untersucht werden:
Ist der Inhalt eigenständig?
Ist er technisch indexierbar?
Ist er vielleicht sehr ähnlich zu anderen Seiten?
Ist die kanonische URL korrekt?
Passt die Seite sinnvoll in die Website?
Die genaue Search-Console-Meldung ist Ausgangspunkt für Diagnose – keine automatische Handlungsempfehlung.
Auch doppelte Seiten können gecrawlt werden
Eine Suchmaschine kann mehrere URL-Versionen desselben Inhalts entdecken.
Google versucht anschließend, solche Varianten zusammenzufassen und eine kanonische Version auszuwählen. (Google for Developers)
Das ist normal.
Nicht jede doppelte URL ist ein dramatisches SEO-Problem.
Bei großen Websites können unnötig viele Varianten allerdings Crawling und Analyse erschweren.
Eine saubere URL-Architektur reduziert diese Komplexität von Anfang an.
Weiterleitungen helfen bei dauerhaft verschobenen Seiten
Wird aus:
/alter-artikel/
dauerhaft:
/neuer-artikel/
sollten Besucher nicht auf einem Fehler landen.
Eine permanente Weiterleitung führt sie zur neuen Adresse.
Google empfiehlt serverseitige permanente Redirects als starkes Signal für die kanonische Ziel-URL und als geeignete Methode für dauerhaft verschobene Inhalte. (Google for Developers)
Genau deshalb sollte beim Ändern bestehender Permalinks immer an Weiterleitungen gedacht werden.
Eine Sitemap sollte ebenfalls die aktuelle URL enthalten
Wenn eine alte URL dauerhaft weitergeleitet wurde, sollte die XML-Sitemap normalerweise nicht weiterhin primär die alte Adresse melden.
Google empfiehlt, in Sitemaps bevorzugte kanonische URLs anzugeben. Die Aufnahme in eine Sitemap ist zwar ein schwächeres Canonical-Signal als Redirect oder rel="canonical", unterstützt aber eine konsistente technische Kommunikation. (Google for Developers)
SEO wird wesentlich einfacher, wenn alle Systeme dieselbe Geschichte erzählen:
Das ist die aktuelle URL.
Das ist die kanonische URL.
Dorthin zeigen interne Links.
Diese URL steht in der Sitemap.
Widersprüchliche Signale schaffen unnötige Arbeit
Stell dir vor:
Interne Links zeigen auf URL A.
Die Sitemap enthält URL B.
Das Canonical zeigt auf URL C.
URL B leitet auf URL D weiter.
Google kann daraus möglicherweise trotzdem eine sinnvolle kanonische Version bestimmen.
Aber warum sollte man die Suchmaschine dieses Rätsel lösen lassen?
Saubere technische SEO bedeutet häufig schlicht:
eindeutige und konsistente Signale.
Muss Google jede Seite meiner Website indexieren?
Nein.
Und das sollte auch nicht zwingend das Ziel sein.
Eine Website kann Seiten besitzen, die für Benutzer funktional notwendig sind, aber keinen eigenständigen Suchwert besitzen.
Beispiele könnten je nach Projekt sein:
interne Suchergebnisse,
bestimmte Filterkombinationen,
technische Hilfsseiten,
temporäre Inhalte.
Indexierung ist kein Qualitätswettbewerb, bei dem möglichst 100 Prozent aller erzeugten URLs im Suchindex landen müssen.
Interessanter ist:
Sind die Seiten indexiert, die als eigenständige Suchergebnisse sinnvoll sind?
WordPress kann sehr viele URLs erzeugen
Eine einzelne Menge von Artikeln kann zusätzliche URL-Typen erzeugen:
Kategoriearchive,
Tagarchive,
Autorenarchive,
Datumsarchive,
Suchseiten,
Medienansichten.
Nicht jede dieser Seiten muss zwangsläufig für jedes Projekt einen eigenständigen Zweck in Suchmaschinen besitzen.
Deshalb sollte die WordPress-Informationsarchitektur bewusst geplant werden.
Das CMS kann eine URL erzeugen.
Das bedeutet noch nicht automatisch, dass diese URL indexiert werden sollte.
SEO beginnt deshalb bei der Seitenarchitektur
Wer erst nach Fertigstellung einer Website fragt:
Welche Seiten sollen eigentlich bei Google erscheinen?
ist spät dran.
Besser ist, bereits bei der Struktur zu entscheiden:
Welche Seiten besitzen eine eigenständige Aufgabe?
Wie hängen sie zusammen?
Welche davon sind Navigation?
Welche sind Inhalt?
Welche sind technische Hilfsfunktionen?
Welche sollen als Suchergebnis funktionieren?
Damit wird SEO Teil der Websiteplanung und nicht zu einer nachträglich installierten Erweiterung.
Suchmaschinen brauchen keinen geheimen SEO-Code
Für die grundlegende Auffindbarkeit einer normalen Website sind erstaunlich einfache Dinge entscheidend:
Die Seite ist öffentlich erreichbar.
Der Server antwortet korrekt.
Crawler dürfen sie abrufen.
Sie besitzt echte crawlbare Links.
Der Inhalt ist in einer verarbeitbaren Form vorhanden.
Keine Regel verhindert versehentlich die Indexierung.
Die URL passt in eine nachvollziehbare Website-Struktur.
Google dokumentiert genau diese Ebenen als Grundlagen von Crawling und Indexierung. (Google for Developers)
Viel technisches SEO besteht deshalb nicht aus geheimen Tricks, sondern daraus, unnötige Hindernisse zu vermeiden.
Erst danach beginnt die schwierigere Frage des Rankings
Wenn eine Seite:
entdeckt,
gecrawlt,
gerendert,
verstanden
und indexiert
wurde, haben wir technisch erst die Voraussetzung geschaffen.
Nun beginnt die eigentliche Konkurrenz um Suchanfragen.
Google entscheidet abhängig von der jeweiligen Suche, welche indexierten Inhalte relevant und hilfreich erscheinen. Dabei fließen zahlreiche Faktoren ein; Standort, Sprache und Gerät können ebenfalls Einfluss auf die konkreten Ergebnisse haben. (Google for Developers)
Diese Ebene behandeln wir später in eigenen Artikeln.
Für diesen Grundlagenartikel reicht die wichtigste Erkenntnis:
Indexierung ist die Zulassung zum Rennen. Nicht der Sieg.
Ein guter SEO-Workflow trennt deshalb die Probleme
Wenn eine Seite keinen Suchtraffic erhält, sollte nicht sofort über neue Überschriften oder mehr Text nachgedacht werden.
Zuerst lässt sich fragen:
Kennt Google die URL?
Kann Google sie crawlen?
Kann der relevante Inhalt gerendert werden?
Darf die Seite indexiert werden?
Ist sie indexiert?
Welche URL behandelt Google als kanonisch?
Erst wenn diese Fragen beantwortet sind, wird die Ranking- und Inhaltsanalyse sinnvoll.
Das spart enorm viel unnötige SEO-Arbeit.
Was du dir über Crawling und Indexierung merken solltest
Suchmaschinen finden neue Webseiten nicht dadurch, dass irgendwo automatisch jede neue URL registriert wird.
Sie entdecken URLs unter anderem über Links und Sitemaps. Googlebot findet neue URLs hauptsächlich über Links aus bereits bekannten Seiten. (Google for Developers)
Danach folgt Crawling: Der Crawler fordert die Seite beim Server an.
Bei JavaScript-Websites kann zusätzlich Rendering nötig sein, damit der tatsächlich erzeugte Seiteninhalt verarbeitet werden kann. (Google for Developers)
Anschließend entscheidet die Suchmaschine im Rahmen der Indexierung, ob und wie der Inhalt in ihren Index aufgenommen wird. Crawling garantiert keine Indexierung. (Google for Developers)
Erst danach kann die Seite für passende Suchanfragen gerankt und als Suchergebnis ausgeliefert werden. (Google for Developers)
Die wichtigste gedankliche Kette lautet deshalb:
URL veröffentlichen
↓
URL entdecken
↓
crawlen
↓
gegebenenfalls rendern
↓
indexieren
↓
für eine Suchanfrage bewerten
↓
Suchergebnis
Wer diese Schritte auseinanderhalten kann, versteht bereits einen großen Teil der technischen SEO – und kann Indexierungsprobleme wesentlich gezielter untersuchen.