by Haben Sie es gewusst? Jeder Beitrag in WordPress wird automatisch dupliziert – die URL erhält das Suffix “/feed”. Wenn Sie beispielsweise einen Beitrag mit dem Namen “deineurl.com/leistungen” erstellen, erstellt WordPress automatisch ein weiteres Duplikat und nennt es “deineurl.com/leistungen/feeds/”.
Viele SEOs kennen zwar dieses Feature, schenken ihr jedoch Aufmerksamkeit. Denn die SEO-Experten wissen auch, dass Google dem Unterverzeichnis /feeds auch wenig Aufmerksamkeit schenkt. Somit ist es nicht wirklich ein Duplikat … so ist jedenfalls die allgemeine Meinung von SEO-Experten.
Falsch.
Heute werde ich über die negativen Kosenquenzen von Feeds auf Websites sprechen.
Albtraum für SEOs: WordPress kreiert automatische Feeds.
Vor 10-15 Jahren haben die Leute Feeds abonniert. Aber es ist bereits 2024 und das Abonnieren von Feeds ist so alt Methusalem. Mal ehrlich: Wann haben Sie das letzte Mal einen RSS-Feed-Reader verwendet?Haben Sie einen RSS Reader auf Ihrem Gerät? Oder erinnern Sie sich überhaupt noch, wofür RSS steht?
Klar, vor 15 Jahren wusste ich genau, wofür RSS steht. Wenn Sie mich heute fragen … was war das noch mal? Real Soft Simplification? Rich Site Structure? Rich Simple Script?
Wenn ich ehrlich bin, möchte ich es gar nicht mehr wissen, denn RSS ist hoffnungslos veraltet und nicht mehr zeitgemäß.
Viele CMS und insbesondere WordPress verwenden sie jedoch noch aus unerklärlichen Gründen. Von althergesessenen Webdesigner, Bloggern und SEO-Experten hört man sogar heute noch, dass man durchaus RSS auf der Website beibehalten sollte. Eine fatale Empfehlung.
Das eigentliche Problem ist, dass Feeds Spam verursachen und letztendlich dazu beitragen, Ihre Website aus Sicht von SEO herunterzranken und von Suchmaschinen abzustrafen.
Wenn Sie jetzt ein SEO sind und noch nichts von dieser Tatsache davon gehört haben oder gehört haben wollen, schauen Sie verwundert auf diese Zeilen und denken sich “Wie bitte?”. Diese Reaktion habe ich von vielen erlebt, bis ich allerdings folgendes erklärt habe. Ein “Oha, ich muss RSS auf allen unseren Websites abschalten” ist die Folge.
Gespannt? Kein Problem, lassen Sie mich erklären, warum WordPress und jedes andere feedbasierte System Ihre Website SEO-Sicht zerstört.
SEO Nachteile von Feeds
Der automatische Feed-Generator von WordPress und anderen CMS macht Inhalte für sogenannte Feed-Reader indexierbar. Die einzigen Organisationen, die noch Feeds verwenden, sind Spammer. Und Spammer lieben Feeds. Indem Sie Feeds auf Ihrer Website bereitstellen, ziehen Sie Spam-Websites bzw. Spam-Roboter an, die Ihre Inhalte nun sehr einfach crawlen können.
Während das Crawlen wie bei Google einen ausgeklügelten Webcrawler erfordert, ist das Crawlen von Feeds kinderleicht. Ein Kind könnte in kürzester Zeit einen Crawler programmieren, der die Feeds von Ihren Artikeln ausliest. Der Grund dafür ist, dass Feeds auf XML basieren – einem maschinenlesbaren und standardisierten Konzept, das von Tim Berners-Lee, dem Erfinder des Word Wide Web, eingeführt wurde. Seine Vision war es, das gesamte Web maschinenlesbar zu gestalten. “Der Feed”, der auf RSS bzw. XML basiert, strukturiert und standardisiert die Form von Artikeln.
Diejenigen, die Feeds auf ihren Websites verwenden, um leicht durchsuchbare Inhalte bereitzustellen, lassen Spammern die Tür offen, die dann ein einfaches Spiel haben Ihre Inhalte zu stehlen.
Das Crawlen Ihrer Website sollte allerdings nur den großen Suchmaschinen überlassen werden, wie zum Beispiel Google.
Wie Spammer Feeds verwenden, um Ihre Inhalte zu stehlen
Zwielichtige Webverzeichnisse, Spam-Suchmaschinen und ähnliche bizarre Websites haben es zu ihrem Geschäftsmodell gemacht, feedbasierte Websites zu crawlen, weil es eben so einfach ist. Wenn Ihre Website schon länger besteht und Feeds anbietet, wurde sie wahrscheinlich bereits von diesen zwielichtigen Websites indexiert. Möglicherweise haben Sie bemerkt, dass Ihre Bilder und Texte als Teaser auf vielen anderen Websites zu finden sind, die wie Suchmaschinen, Domain-Review-Websites, Pressewebsites u. ä. aussehen. Alle haben sich getarnt, um irgendwie legitim auszusehen, aber ihr einziger Zweck ist es, Inhalte von Drittanbietern zu stehlen.
Dabei achten diese Spam-Roboter nicht einmal auf die Robots Exclusion (robots.txt), da viele von ihnen oft nicht an das Recht Ihres Landes gebunden sind. In Industrieländern liegt eine Urheberrechtsverletzung vor, wenn Websites gecrawlt werden, die das Crawlen durch die Robots Exclusion oder Metadaten wie noindex usw. verbieten.
Fragen Sie einfach einige Ihrer Inhalte bei Google ab. In einer Sekunde sehen Sie, wie viele Kopien Ihrer Inhalte bereits im Web als Kopie vorhanden sind. Wenn Spammer Ihre Inhalte stehlen, erzeugen sie automatisch Duplikate. Oft werden ihre Inhalte auch geklaut, bei irgendwelchen sonderbaren Websites dupliziert und ein Backlink auf Ihren Artikel gesetzt. Und da diese Websites von Google bereits als Spam eingestuft werden, schaden Ihnen diese Backlinks (hierzu habe ich einen ausführlichen Beitrag verfasst in “SEO Backlink Building with Google in 2024“).
Wie kann man diese Spammer vermeiden?
Feeds deaktivieren
Als Erstes sollten Sie die Feed-Funktion deaktivieren, damit WordPress oder ein anderes von Ihnen verwendetes CMS sie nicht mehr automatisch erstellt. Apropos WordPress: Da dies über WordPress nicht möglich ist, müssen Sie ein Plugin installieren, das die Arbeit für Sie erledigt. Das Disable Feed Plugin von Samir Shah ist eines der am häufigsten verwendeten und sichersten Plugins. Es ist kostenlos – installieren, aktivieren – Ziel erreicht.
Aktualisieren Sie Robots.txt
Eine andere Methode besteht darin, nur gängigen Suchmaschinen das Crawlen Ihrer Website über die Robots Exclusion bzw. robots.txt zu erlauben. Dies hat jedoch möglicherweise nur eine geringe Auswirkung, da Spammer sich nicht um die Inhalte in der robots.txt kümmern.
Fazit RSS und SEO
Sobald Sie Feeds deaktiviert haben, ist es unwahrscheinlich, dass die Spambots Ihre Website crawlen. Das liegt daran, dass diese Spammer nicht über die Fähigkeiten verfügen, komplexe Crawler zu programmieren. Deswegen suchen sie auch nur leicht durchsuchbare und XML-basierte Websites: Feeds. Und solange Millionen anderer Websites Feeds anbieten, halten sie sich einfach von Ihren Inhalten fern, wenn dort keine Feeds angeboten werden.
Und so sieht es aus:
Ohne Feeds wird Ihre Website nur von den großen Suchmaschinen gecrawlt, denen es egal ist, ob Sie XML bzw. Feeds haben oder nicht. Und Sie halten Ihre Tür für Eindringlinge verschlossen, die nur über XML und Feeds auf Ihre Website zugreifen können.
Ich halte diese Schlussfolgerungen hier für falsch.
1. Es gibt genügen Crawler, die einem aus einer Website ein RSS-Feed bauen.
Die Idee, man könnte sich Spambots dadurch vom Laib halten, hat ein bisschen was von "Security by Obscurity.
2. RSS-Feeds sind ein etabliertes Industrie-Standard-Format
Selbst wenn ich persönlich niemanden kenne - mich miteingeschlossen, die noch einen Feed-Reader nutzen, heißt das nicht, dass es nicht legitime Anwendungsfälle gibt, in denen ein RSS-Feed von Nutzen ist. Ein Beispiel: Datenschutzkonform eigene Inhalte von Social Media Plattformen wie Facebook/Instagram auf der Website integrieren.
Die Migration von Inhalten und das "Umwandeln" selbiger auf einen Minimal-Standard (Titel, Text, Bild) kann sogar interne Vorteile haben. Deswegen muss man RSS-Feeds vielleicht nicht gleich öffentlich stellen, aber ganz abschalten oder dass sie keine Berechtigung hätten... das würde ich dem nicht absprechen.
3. Spammer werden bereits von großen Suchmaschinen bekämpft
Sorgen, wenn eigene publizierte Inhalte wo anders landen, mache ich mir inzwischen nicht mehr. Suchmaschinen wie Bing oder Google müssen damit seit jeher umgehen und sind treffsicher geworden, zu identifizieren, welcher Inhalt zunächst wo erschienen ist und wie es um die Reputation der jeweiligen Website aussieht. Was kümmert's mich also, wenn ein Spambot meine Inhalte crawlt?