Dies ist der erste Post unserer zweiteiligen Serie zu AdSense-Crawler-Fehlern.
Publisher können ihre Website im Hinblick auf AdSense auf vielerlei Weise optimieren. Das Aktivieren von Text- bzw. Image-Anzeigen, der Umstieg auf bevorzugte Anzeigenformate und die Intensivierung der Anzeigenabdeckung auf einer Website sind nur einige bekannte Beispiele. Aber wusstet ihr, dass es noch eine direkte und von Publishern oftmals übersehene Methode gibt, Websites zu optimieren?
Etwas Hintergrundwissen
Die Datei robots.txt eurer Website fungiert in gewisser Weise als "Wächter". Sie bestimmt, welche Webcrawler, Webrobots und Suchmaschinen auf die Website zugreifen dürfen und welche nicht. Diejenigen, die eine Erlaubnis erhalten, können eure Seiten dann einsehen und die Website indizieren. Diejenigen, die keine Berechtigung haben, können je nachdem, welche Angaben ihr definiert habt, bestimmte Bereiche der Website weder einsehen noch indizieren.
AdSense-Anzeigen werden mithilfe eines AdSense-Webcrawlers geschaltet. Er scannt den Seiten-Content und bestimmt anhand bestimmter Keywords, welche Anzeigen geschaltet werden. Wird der AdSense-Crawler durch die Datei robots.txt blockiert, können wir auf eurer Website nur sehr schwer relevante Anzeigen schalten. Dies kann dazu führen, dass eure Nutzer weniger relevante Anzeigen sehen, was wiederum eine geringere CTR nach sich ziehen kann.
Abhilfe schaffen
Schaut euch unter [deinedomäne.com]/robots.txt den Inhalt der Datei robots.txt an. Die Datei muss so konfiguriert sein, dass unser AdSense-Anzeigen-Crawler auf eure Website zugreifen darf. Dazu ergänzt ihr ganz oben in der Datei einfach diese beiden Zeilen:
User-agent: Mediapartners-Google
Disallow:
Nun kann unser AdSense-Crawler auf eure Website zugreifen und dafür sorgen, dass Anzeigen mit höherer Relevanz geschaltet werden. Das kann sich auch positiv auf eure Anzeigeneinnahmen auswirken. Beachtet aber, dass die Änderung keinen Einfluss auf das Ranking in der Google-Suche hat. Die beiden in der Datei robots.txt ergänzten Zeilen führen nur dazu, dass auf Seiten, die bereits AdSense-Code enthalten, Anzeigen mit höherer Relevanz geschaltet werden. Seiten ohne AdSense-Code sind davon nicht betroffen.
Fehlerhafte URLs könnt ihr erkennen, indem ihr euch in eurem AdSense-Konto anmeldet und auf der Startseite auf "Kontoeinstellungen" klickt. Klickt anschließend unter "Zugriff und Autorisierung" auf "Fehler anzeigen".
Bald wird der zweite Post aus unserer Serie zu AdSense-Crawler-Fehlern veröffentlicht. In ihm werdet ihr erfahren, welche Probleme beim Crawler-Login auftreten können und wie ihr sie beheben könnt.
Post von Andrew Boni, Inside AdSense-Team
