kaffeeringe.de

robots.txt: Facebook ändert die Regeln im Netz

In seinem Blog berichtet Pete Warden darüber, wie es dazu kam, dass er von Facebook verklagt wurde. Er hatte Facebook.com durchsucht (wie es jeder andere Suchmaschinen-Crawler tut) und die gefundenen Daten  statistisch ausgewertet. Er hat sich dabei an die robots.txt gehalten, Facebook ist das offenbar egal – die robots.txt habe keine rechtliche Verbindlichkeit. Vor Gericht austesten wollte Warden diese Betrachtungsweise nicht. Das finanzielle Risiko war ihm zu hoch. Sein Dienst ist jetzt offline.

Pete Wardens Blogpost endet mit zwei interessanten Gedanken – bzw. bei dem einen springt er ein wenig kurz:

„I’m bummed that Facebook are taking a legal position that would cripple the web if it was adopted (how many people would Google need to hire to write letters to every single website they crawled?), and a bit frustrated that people don’t understand that the data I was planning to release is already in the hands of lots of commercial marketing firms […]“

Der erste Gedanken ist der interessantere: Facebook ändert hier die Regeln, nach denen das Internet seit der Einführung der robots.txt funktioniert:

Aus Sicht des Site-Betreibers war die robots.txt nie ein Mittel Bösewichte abzuhalten. Deswegen kann man auch mit dem Manko leben, dass sie nur allow/disallow keine feinere Einstellungen beherrscht. Man kann nicht angeben, dass die Inhalte für die eine Nutzung frei ist und für die andere nicht, weil man ohnehin damit rechnen muss, dass Daten, die im Netz stehen, anders genutzt werden, als man sich das vorstellt.

Der Diensteanbieter aber, der einen legalen Crawler betreiben wollte, hat dafür gesorgt, dass er sich an die robots.txt hält.

Facebook sagt jetzt: Du kannst Dich an die robots.txt halten, aber hinterher entscheiden wir, ob uns Deine Nutzung genehm ist oder nicht. Und weil wir den dickeren Geldbeutel haben, wirst Du nie erfahren, ob das rechtmäßig ist oder nicht.

Das ist ohnehin immer eine latente Gefahr – nicht nur im Internet. Es ist aber Symptom für eine Entwicklung, die Timothy Wu, Professor an der Columbia Law School, in seinem Vortrag „The Rise and Fall of Information Empires“ beschrieben hat:

„Every once free and open technology has, in time, become centralised and closed; a huge corporate power taking control of the ‚master switch.'“

Das Internet, wird gerne als „demokratischtes aller Medien“ bezeichnet. Aber wie auch im Reallife steht der demokratische Aspekt des Internets in einem Spannungsverhältnis zur marktwirtschaftlichen Ordnung, in der sich oft der Stärkere durchsetzt.

Und Ja. All die Daten, die Pete Warden in Form von Statistiken veröffentlichen wollte, werden alle Firmen und Organisationen, für die das wichtig ist, schon haben. Er wird nicht der Erste gewesen sein, der auf die Idee gekommen ist, einen eigenen Crawler auf Facebook anzusetzen. Nur die Veröffentlichung zu unterbinden ist scheinheilig.

Links

Foto: Bestimmte Rechte vorbehalten von Eric E Johnson

Kommentare

Gerald

In meiner Statistik (Webseite) habe ich entdeckt daß Facebook sogar einen eigenen Crawler besitzt der auf meiner Webseite herumschnüffelt obwohl ich gar nicht bei Facebook bin. Die robots.txt steht bei mir für alle Crawler auf disallow. Soviel zum Thema….

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Möchtest Du benachrichtigt werden, wenn Dir hier jemand antwortet?