Dani: Vier Punkte, die man morgen auf der Liste abhacken und in die Wege leiten muss, damit man ready ist. Und das klingt nach einem machbaren Plan, vor allem wenn man im Produktsegment zuhause ist und verkaufen will.
Dann kommen wir bereits zu unserem Tooltipp. Heute schauen wir auf einen AI- und SEO-Bot-Crawling-Checker von DEAN. Ein Tool, das prüft, ob AI- und SEO-Bots meine Website tatsächlich lesen können. Ist das jetzt eine technische Spielerei?
Erich: Nein, überhaupt nicht. Für jede Firma wird das immer relevanter.
Wenn die KI-Assistenten oder die Crawler die Inhalte nicht lesen können, weil der blockiert ist, dann bist du weg vom Fenster. Die Marke oder das Produkt oder was auch immer, existiert für die Zukunft nicht.
Das kann passieren, indem meine Hoster oder meine IT-Abteilung aufgrund des Traffics die Bots einfach sperren, weil sie das Gefühl haben, dass es etwas ist, das viel Traffic generiert, dass wir auf unserer Webseite nicht haben wollen. Und die von Business wissen das dann nicht. Wir haben schon beim Testen einige Überraschungen erlebt. Wo wir gesehen haben, dass dort zum Teil Bots gesperrt werden. Das heisst, du hast zwar den besten Content auf deiner Seite, es ist alles super gut gemacht. Du hast aber die Türen abgeschlossen und niemand hat einen Schlüssel dazu die Türen aufzumachen, damit KI, Bots oder Crawler auf diese Inhalte zugreifen können.
Dani: Viele Unternehmen setzen auf Webagenturen als Unterstützungspartner, etwa auf die CS2 AG. Für Geschäftsführer ist das eine Möglichkeit zu überprüfen, ob die eigene Website sichtbar ist und ob nichts gesperrt ist. Denn es kann durchaus vorkommen, dass durch einen Fehler Inhalte oder Zugriffe unbeabsichtigt blockiert werden.
Erich: Es ist nicht hundertprozentig transparent, wie genau das im Detail funktioniert. Dennoch lässt sich damit ein sehr guter Check durchführen, der aufzeigt, ob Crawler auf die eigene Website zugreifen können oder nicht. Wir haben zudem vor ein paar Episoden bereits über einen solchen Tester gesprochen. Dieses frühere Test-Tool hat allerdings nur vier Bots geprüft, also die vier wichtigsten KI-Bots.
Das hier vorgestellte Tool crawlt deutlich umfangreicher und prüft nicht nur KI-Bots, sondern auch klassische SEO-Crawler. Dazu gehören unter anderem die Crawler von SEO-Tools wie Ahrefs, SEMrush und ähnlichen Plattformen. Genau diese Crawler, die dort eingesetzt werden, werden hier ebenfalls getestet.
Der wichtigste Punkt ist aus meiner Sicht daher folgender: Als Erstes sollte ein Audit mit diesem Tool durchgeführt werden. Ziel ist es zu prüfen, ob alle relevanten Crawler Zugriff haben und die Inhalte lesbar sind. Denn wenn das nicht der Fall ist, sehen die Bots die Website entsprechend nicht.
Dani: Wir haben in dieser Episode auch darüber gesprochen, dass es viele schlechte Bots gibt, die unnötigen Traffic verursachen. Ich glaube, das führt häufig dazu, dass auf IT-Seite Änderungen vorgenommen werden und man pauschal Dinge schliesst, nach dem Motto: Wir lassen nicht alles Schlechte rein. Das ist grundsätzlich sinnvoll.
Umso wichtiger ist es jedoch, dass man in einem ersten Schritt prüfen kann, was dadurch konkret blockiert wird. Was heisst das denn strategisch?
Erich: Das heisst, ich habe darüber auch die Möglichkeit, Zugriffsregeln gezielt zu öffnen oder anzupassen. Wenn ich sehe, welche Bots Zugriff auf meine Seite haben oder eben nicht haben, kann ich diese explizit zulassen. Das kann über die Web Application Firewall oder über die robots.txt erfolgen, sofern dies dort entsprechend konfiguriert ist.
Gleichzeitig sehe ich möglicherweise auch, dass Tools Zugriff haben, die ich bewusst nicht möchte. Ein Beispiel: Wir verwenden intern kein Ahrefs. Ahrefs ist ein Tool zur Seitenanalyse, und wenn wir Ahrefs bei uns blockieren, verhindern wir gleichzeitig, dass Dritte über Ahrefs eine Konkurrenzanalyse unserer Seite durchführen können.
Dani: Ich kann mit dem Tester gezielt blockieren oder auch freimachen. Ein gutes Beispiel ist die Migros. Die machen das. Wenn ich sehe, dass alles blockiert ist, heisst das für mich auch, dass das Unternehmen aus Vorsichtsmassnahmen alles ausschliesst. Wie ist denn das? Wer entscheidet am Schluss, was wir reinlassen und was nicht?
Erich: Das ist eine Entscheidung, die gemeinsam zwischen Business und IT getroffen werden muss. Teilweise gibt es Bots, die exorbitant viel Traffic generieren und dadurch die Infrastrukturkosten in die Höhe treiben. Gleichzeitig kann es auch sein, dass Mitbewerber über solche Tools auf Inhalte zugreifen.
Ein weiterer Aspekt ist strategischer Natur: Wenn ich sehr wertvollen Content habe, den ich bewusst nicht an KI-Assistenten ausliefern möchte, kann ich mich entscheiden, diesen zu blockieren. Die Frage ist dann: Warum soll ich mit meinem Wissen dazu beitragen, fremde Tools zu trainieren, die damit wiederum Geld verdienen? In solchen Fällen kann eine bewusste Einschränkung sinnvoll sein.
Genau diese Abwägungen lassen sich mit einem solchen Tool sichtbar machen und fundiert beurteilen.
Dani: Es gibt zwei Medaillenseiten: Auf der einen Seite ist es ein Hosting-Problem. Es wird Traffic verursacht. Es kostet etwas. Ich brauche Performance auf dem Webserver. Da muss ich auch den KI-Assistenten oder den Bots Antworten geben. Und den Kunden auch. Das ist ein Abwägen, was Sinn macht und was nicht. Das Tool lohnt sich absolut anzuschauen und auch vielleicht einfach nur zu schauen, wo wir mit unserer Seite stehen, was hat mein Hoster eingestellt.
Oder sie können uns auch einfach anrufen, und wir schauen uns das gemeinsam an. Es lohnt sich auf jeden Fall, dort einmal einen Blick darauf zu werfen. Denn wenn wir alles umsetzen, was wir oben und in unseren Blogs immer wieder erkläre, von Anfang an saubere Daten, korrekte Feeds und eine saubere technische Basis, und am Ende sperren wir die relevanten Bots aus, dann haben wir eigentlich alles richtig gemacht, sind aber kurz vor der Ziellinie gestolpert.
Und die Ziellinie ist auch gleich unser Stichwort, Erich. Wir sind am Ende angekommen. Das heisst wie immer: teilen, liken, kommentieren. Wir freuen uns natürlich sehr darüber, hoffen, wir konnten euch wieder einen spannenden Einblick geben, und freuen uns auf die nächste Ausgabe von Zweiblog.
Bis dahin sagen wir zwei: Tschüss, miteinander.
Erich: Macht's gut. Bleibt gesund. Bis zum nächsten Mal.