Zurzeit sind 783 Mitglieder online.
Zurzeit sind 783 Mitglieder online.
Neu bei AdWords? Du hast gerade dein AdWords Konto eröffnet und fragst Dich, welche Keywords, Anzeigen und Kontoeinstellungen Du wählen sollst, um deine Marketingziele optimal zu erreichen? Oder hast Du deine erste Kampagne bereits gestartet und möchtest wissen, was Du noch verbessern könntest? Stelle hier deine Fragen. Hier findest Du auch wertvolle Tipps, wie Du Dich mit deinem AdWords-Konto vertraut machst.
Anleitung
favorite_border
Antworten

Landingpages und robots.txt

Rang 8
# 1
Rang 8

Hallo zusammen,

 

bitte gebt mir doch einmal eine Info wie eine robots.txt korrekt zu konfigurieren ist, wenn man mit dezidierten SEA-Landingpages arbeitet die auf der gleichen Domain wie die Hauptseite laufen.

 

Generell hat man mir gesagt, dass der Adsbot ein globales Dissallow ignoriert und man das so machen kann. Da es ggf. sein kann dass später andere Werbekanäle dazukommen (z.B. Microsoft) wäre mein Plan dass man zur Sicherheit die ganzen Anzeigenroboter gezielt anspricht und ihnen das indexieren erlaubt.

 

Also:

User-agent: *

Disallow: /meine-landingpages/

 

User-agent: Adsbot-Google

Allow: /meine-landingpages/

 

Wie ist da Euer Vorgehen?

 

Viele Grüße und schon mal frohe Ostern

Thomas

3 Expertenantwort(en)verified_user

Akzeptierte Lösungen
Als beste Antwort markiert.
Lösung
Akzeptiert von Themenautor Thomas-Wiegand
September 2015

Hi Thomas,   ich habe gelernt, dass man möglichst mit dem...

Rang 13
# 2
Rang 13

Hi Thomas,

 

ich habe gelernt, dass man möglichst mit dem spezifischen Bot beginnen sollte.

 

User-agent: Adsbot-Google

Allow: /meine-landingpages/

 

User-agent: *

Disallow: /meine-landingpages/

 

Ich würde aber auch noch empfehlen, dem Adsbot auch Disallow-Anweisungen zu geben, wenn er wirklich nur die Landinpage crawlen soll. Ansonsten kann es durchaus sein, dass der Bot "Allow" etwas "überinterpretiert" wird und alles crawlt.

 

Beste Grüße,

Tom

 

Lösung in ursprünglichem Beitrag anzeigen


Alle Antworten
Als beste Antwort markiert.
Lösung
Akzeptiert von Themenautor Thomas-Wiegand
September 2015

Hi Thomas,   ich habe gelernt, dass man möglichst mit dem...

Rang 13
# 2
Rang 13

Hi Thomas,

 

ich habe gelernt, dass man möglichst mit dem spezifischen Bot beginnen sollte.

 

User-agent: Adsbot-Google

Allow: /meine-landingpages/

 

User-agent: *

Disallow: /meine-landingpages/

 

Ich würde aber auch noch empfehlen, dem Adsbot auch Disallow-Anweisungen zu geben, wenn er wirklich nur die Landinpage crawlen soll. Ansonsten kann es durchaus sein, dass der Bot "Allow" etwas "überinterpretiert" wird und alles crawlt.

 

Beste Grüße,

Tom

 

Warum so kompliziert? Wenn die Landingpages manuell (oder...

Top Beitragender
# 3
Top Beitragender


Warum so kompliziert? Wenn die Landingpages manuell (oder wie auch immer) ebenfalls in der sitemap.xml landen, sind diese umgehend indexiert und das langt völlig. Damit fahren wir sehr gute SEO-Kampagnen. 

 

@Tom, welchen Vorteil versprichst Du Dir von einer exakten Definitiond er Bos?

 

Anbei mal eine kleine Liste von Bots und Spiders Smiley (fröhlich)

 

Google [Bot]
Google Adsense [Bot]
Bing [Bot]
Majestic-12 [Bot]
Exabot [Bot]
MSN [Bot]
psbot [Picsearch]
Alexa [Bot]
AdsBot [Google]
Alta Vista [Bot]
Ask Jeeves [Bot]
Baidu [Spider]
FAST Enterprise [Crawler]
FAST WebCrawler [Crawler]
Francis [Bot]
Gigabot [Bot]
Google Desktop
Google Feedfetcher
Heise IT-Markt [Crawler]
Heritrix [Crawler]
IBM Research [Bot]
ICCrawler - ICjobs
MSN NewsBlogs
MSNbot Media
Metager [Bot]
NG-Search [Bot]
Nutch [Bot]
Nutch/CVS [Bot]
OmniExplorer [Bot]
Online link [Validator]
SEO Crawler
SEOSearch [Crawler]
Seekport [Bot]
Sensis [Crawler]
Seoma [Crawler]
Snappy [Bot]
Steeler [Crawler]
Synoo [Bot]
Telekom [Bot]
TurnitinBot [Bot]
Voyager [Bot]
W3 [Sitesearch]
W3C [Linkcheck]
W3C [Validator]
WiseNut [Bot]
YaCy [Bot]
Yahoo MMCrawler [Bot]
Yahoo Slurp [Bot]
Yahoo [Bot]
YahooSeeker [Bot]
ichiro [Crawler]

 

Könnte also etwas viel werden, wenn man für jeden eien Extrawurscht machen möchte.... Smiley (Zunge)

Viele Grüsse, Sönke
Google+Xing | LinkedIn | sunrise design | von Elbstein

Hallo sun-e, ich habe Thomas so verstanden, dass die SEA...

Rang 13
# 4
Rang 13

Hallo sun-e,

ich habe Thomas so verstanden, dass die SEA Landingpage eben nur vom Adsbot gecrawlt werden soll und nicht vom Googlebot. Ich vermute, es geht hier um die Problematik des Duplicate Content. Kann man diese Differenzierung mit der sitemap.xml abbilden?

Beste Grüße,

Tom

Landingpages und robots.txt

Rang 8
# 5
Rang 8

Hallo sun-e,

 

ich glaube da hast Du mich falsch verstanden. Ich möchte eben Suchmaschinenroboter generell ausschließen, da auf den Adwords-Landingpages viel Duplicate Content produziert wird und ich den SEO Bemühungen nicht in die Quere kommen möchte. Deswegen ist mein Ziel einserseits die Seiten vor Indexierung zu schützen und anderseits nur dem Adwords-Roboter bzw. ggf. Robotern anderer Werbeprogramme einen Zugriff zu ermöglichen, so dass die Seite hinsichtlich QF bewertet werden können.

 

Viele Grüße

Thomas

 

 

Landingpages und robots.txt

Rang 8
# 6
Rang 8

Hi Tom,

 

vielen Dank für den Hinweis. Bin Nichttechniker :-)

 

Viele Grüße

Thomas

Hallo Sönke,   wow, was ne Liste und hast Du die alle per...

Top Beitragender
# 7
Top Beitragender

Hallo Sönke,

 

wow, was ne Liste und hast Du die alle persönlich kennen gelernt Smiley (zwinkernd)

Gruß Kai
SUMAFA Online Marketing Lösungen | G+ Kai de Wals | Google Partner | Google Advertising Professional


Hallo Thomas,    dass ginge über die robot.txt und das wä...

Top Beitragender
# 8
Top Beitragender

 

Hallo Thomas, 

 

dass ginge über die robot.txt und das wäre meiner Meinung nach eine heikle Notlösung. Einerseits, wenn die Landingpages nicht verlinkt sind und auch gar nicht in der sitemap.xml stehen, werden diese ohnehin nicht gecrawlt. Allerdings braucht nur irgendjemand, irgendwo einen Link eintragen und schon hat man den Salat. Andererseits würde ich zusätzlich sagen, dass jede Form von double content schlecht ist und vermieden werden sollte. Wenn möglich, berücksichitgen, wenn nicht, dann sollte Toms Ansatz ruhig angehen und alle Bots ablehnen. Allerdings finde ich die robot.txt in Punkto Möglichkeit nicht gerade sehr üppig:

 

http://support.google.com/webmasters/bin/answer.py?hl=de&answer=156449

 

Komischerweise steht in der Liste der AdSenseBot gar nicht drinne:

http://www.robotstxt.org/db.html

 

Ich würde sämtliche Landingpages in einen Ordner ablegen und diese versuchen auszuschliessen und nur dem GoogleBot für AdSense Zugang zu geben, wobei hier vermutlich rumprobiert werden muss, ob das klappt. Also ich bin der Meinung die Bezeichnung ist AdSenseBot. Würde aber wie oben empfohlen das double content zu vermeiden und zwar aus einem anderen Grund: Wenn man sich die Mühe für schöne Landingpages für AdWords macht, ist es normalerweise so, daß man gleich SEO betreibt. Wir machen das z.B. eigentlich umgekehrt: Die SEO-Landingpages werden bei SEM als Zielseiten verwendet, da diese bereits vorhanden und optimiert sind. Durch Deine Vorgehensweise schneidet man sich den SEO-Vorteil einfach weg. 

Viele Grüsse, Sönke
Google+Xing | LinkedIn | sunrise design | von Elbstein

Hehehe, nein, ich würde die ersten 15-20 als recht häufig...

Top Beitragender
# 9
Top Beitragender

Kai-de-Wals schrieb:

Hallo Sönke,

 

wow, was ne Liste und hast Du die alle persönlich kennen gelernt Smiley (zwinkernd)


Hehehe, nein, ich würde die ersten 15-20 als recht häufige Bots bezeichnen. Interessant finde ich vor allem den Majestic12-Bot. Der kurvt fast so häufig wie der GoogleBot rum und lest mal von was der ist:

 

http://www.hourofthetime.com/majestyt.htm

 

http://de.wikipedia.org/wiki/Majestic_12

 

Ich frage mich, nach was der Bot eigentlich sucht? Ein Bot wie dieser ignoriert 100%ig auch die robot.txt. Smiley (fröhlich)

Viele Grüsse, Sönke
Google+Xing | LinkedIn | sunrise design | von Elbstein

Hi Tom, wo hast Du die Bezeichnung des Adsbot-Google he...

[ Bearbeitet ]
Top Beitragender
# 10
Top Beitragender

TomWaniek schrieb:

Hi Thomas,

 

ich habe gelernt, dass man möglichst mit dem spezifischen Bot beginnen sollte.

 

User-agent: Adsbot-Google

Allow: /meine-landingpages/

 

User-agent: *

Disallow: /meine-landingpages/

 

Ich würde aber auch noch empfehlen, dem Adsbot auch Disallow-Anweisungen zu geben, wenn er wirklich nur die Landinpage crawlen soll. Ansonsten kann es durchaus sein, dass der Bot "Allow" etwas "überinterpretiert" wird und alles crawlt.

 

Beste Grüße,

Tom

 


Hi Tom,

 

wo hast Du die Bezeichnung des Adsbot-Google her? Ich habe eben nochmal geschaut und bei mir steht, dass der AdsenseBot and er Zeichenfolge "Mediapartners-Google" erkannt wird. 

 

Hier sind alle Google-Bots:

http://support.google.com/webmasters/bin/answer.py?hl=de&answer=1061943

 

Die Zeichenfolge in der Robot.txt muss stimmen. Ansonsten würde nach Deinem Beispiel gar kein Bot spidern können. 

 

Ah, Korrektur, ganz unten steht der Schlingel für Qualiprüfung, Okay, dann haut das doch hin. Aber der Link zeigt wenigstens alle mal auf  Smiley (fröhlich)

Viele Grüsse, Sönke
Google+Xing | LinkedIn | sunrise design | von Elbstein