Magazin robots.txt: Alles, was ein SEO wissen muss

Grundsätzlich halten sich Google und Co., also die vermeidlichen Good Guys des www, an die Anweisung in Ihrer robots.txt. Dennoch kann es vorkommen, dass Suchmaschinen die Inhalte dennoch in der Suche auflisten. Doch wie kann das sein?  

Google und andere sehen die Direktiven in robots.txt mehr als Empfehlung den als harte Anweisung. Das gilt insbesondere dann, wenn ihre Inhalte stark verlinkt sind. Das kann auf der eigenen Website passieren oder auch durch Backlinks. In dem Fall kann Google davon ausgehen, dass der Inhalte trotz Crawl-Sperre relevant ist und nimmt die URL in den Index mit auf.  

Sofern Sie einen kostenlosen Google Search Console-Account angelegt haben (unbedingt zu empfehlen), finden Sie im Falle das Ihre Website betroffen ist unter „Seiten“ einen Bericht Namens „Indexiert, obwohl durch robots.txt-Datei blockiert“. Dort werden URLs aufgelistet, die von diesem Problem betroffen sind.   

Grundsätzlich können Befehle in der robots.txt helfen, URLs mit doppelten Inhalten vom Crawling auszusperren. Allerdings ist das immer nur eine Art Notnagel, wenn es keine andere Möglichkeit gibt. Denn wie eben erwähnt gibt es keine Garantie, dass diese Inhalte nicht doch indexiert werden.  
 
Beispiel: 
Angenommen, eine Website hat zwei URLs, die denselben Artikel anzeigen, aber eine der URLs enthält Parameter für eine Variante und eine Farbe. Die Varianten sind sich jedoch sehr ähnlich und sollten daher nicht von Google gecrawlt werden. 

• "https://www.example.com/article"
• "https://www.example.com/article?variant=123&color=blue"

Um Suchmaschinen daran zu hindern, die URL mit den Parametern zu crawlen, könnten Sie folgende Anweisung in die robots.txt-Datei aufnehmen: 

User-agent: * 
Disallow: /*?variant=* 
Disallow: /*&color=* 

Um es kurz zu machen: Nein! Zwar gab es bis 2019 die Möglichkeit, auch ein noindex in der robots.txt zu verwenden, doch wird dieses nie offiziell kommunizierte Feature von Google inzwischen nicht mehr unterstützt. Andere Suchmaschinen haben diesen Befehl nie beachtet. Zudem halten sich Google und Co. wie oben beschrieben nicht immer an die Anweisungen der robots.txt. Um also absolut sicher zu gehen, verwenden Sie bitte die noindex-Angaben in den HTML-Meta-Angaben oder via X-Robots-Tag im HTTP-Header. Diese beiden Direktiven werden in jedem Fall beachtet.  

Wenn Inhalte, die eigentlich nicht in den Suchindex sollten, bereits indexiert sind, können die robots.txt-Angaben nicht mehr helfen. Im Gegenteil, sie würden sogar ein Entfernen aus dem Index blockieren, da Google und Co. notwendige noindex-Angaben nicht aufrufen können. Sie verhindert ja das erneute Crawling.  

Gehen Sie in einem solchen Falle wie folgt vor: 

1. Fügen Sie allen URLs, die aus dem Suchindex entfernen werden sollen, eine noindex hinzu (Meta-Angaben im HTML-Body oder im HTTP-Header).  

2. Falls Sie die URLs in Panik in der robots.txt blockiert haben, heben Sie die Crawl-Sperre wieder auf.  

3. Stoßen Sie ggf. das erneute Crawling in der Google Search Console über das Menü „URL-Prüfung“ manuell an. Allerdings kann hier nur jede URL einzeln zur Indexierung (bzw. zum erneuten Crawling) eingereicht werden. Alternativ können Sie eine extra XML-Sitemap mit einer Liste aller URLs, die erneut geprüft werden sollen, einreichen. Das kann den Vorgang etwas beschleunigen.  

4. Sofern die URLs sofort aus den Suchergebnissen ausgeblendet werden sollen (Achtung, Ausblenden heißt nicht, dass die URLs nicht noch im Index sind!), können Sie ebenfalls in der GSC unter dem Menüpunkt „Entfernen“ URLs ausblenden lassen. Der Name der Funktion ist in dem Fall etwas irrführend. Die URLs werden dann bis zu etwa sechs Monate aus den Google-Suchergebnissen ausgeblendet.  

5. Prüfe Sie regelmäßig, ob die zu de-indexierenden URLs aus dem Index entfernt wurden. Sehr nützlich ist in dem Fall die in Punkt drei angesprochene extra XML-Sitemap. Einmal bei Google eingereicht, können Sie in der GSC unter dem Punkt Sitemaps genau diese Sitemap auf den Indexierungszustand hin überprüfen.  

6. Sobald die URLs tatsächlich de-indexiert wurden, können diese wieder mittels robots.txt blockiert werden.  

Ja, Sie können mit der robots.txt Ihr Crawl-Budget optimieren. Indem Sie bestimmte Seiten (und Unterseiten) oder Verzeichnisse vom Crawling ausschließen. ABER, dieses Vorgehen ist allerdings erst bei Domains mit deutlich mehr als 50.000 URLs relevant und sollte daher für die meisten Websites keine Rolle spielen. Grundsätzlich kann es aber hilfreich sein, die Crawler nur auf Search-relevanten Seiten agieren zu lassen. Sofern Sie sehr viele URLs haben, sollten Sie also Gedanken dazu machen, da es sonst dazu kommen könnte das wichtige Inhalte nicht erfasst oder nicht schnell genug aktualisiert werden.  

Nein, Sie müssen die robots.tx.t nicht einreichen. Das geht streng genommen auch nicht. Im Robots-Exlusion-Standard-Protokoll ist klar geregelt, wo diese Textdatei zu finden ist, wie sie zu heißen hat und Suchmaschinen schauen selbstständig und standardmäßig nach den Inhalten der Datei.