robots.txt

Facebook ändert die Regeln im Netz

Kommentare

  1. Avatar von Gerald

    In mei­ner Sta­tis­tik (Web­sei­te) habe ich ent­deckt daß Face­book sogar einen eige­nen Craw­ler besitzt der auf mei­ner Web­sei­te her­um­schnüf­felt obwohl ich gar nicht bei Face­book bin. Die robots.txt steht bei mir für alle Craw­ler auf dis­al­low. Soviel zum Thema.…

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert