Normalerweise indizieren die Suchmaschinen eine Website, indem sie eine Seite aufrufen und dann allen Links folgen, die dort zu finden sind – zumindest bis in eine gewisse Link-Tiefe. Was genau gefunden wird und wie die Ergebnisse zu gewichten sich, kann man bei dieser Methode leider nicht beeinflussen. Im Juni 2005 führte Google Sitemaps ein, die Abhilfe schaffen sollten. Mittlerweile ist diesen Format ein Quasi-Standard und auch von MSN, Yahoo und Ask.com anerkannt.Bei einer solchen Sitemap handelt es sich um eine XML Datei, die alle relevanten Links einer Website enthalten soll. Zusätzlich kann jeder Link mit Metadaten versehen werden.
Metadaten
Diese Metadaten verraten der Suchmaschine, wie wichtig eine Seite im Vergleich zu den anderen ist, wann sie zuletzt geändert wurde und wie oft die Suchmaschine nach Updates suchen soll.
Auf einer Site, auf der es News in verschiedenen Kategorien gibt, ist es zum Beispiel interessant, die Suchmaschine die Übersichtsseiten häufiger überprüfen zu lassen, als die einzelnen Artikel, die sich dann doch eher selten ändern. Ein Forum dagegen ändert sich auch häufiger. Je nach Aktivität kann sich hier eine häufigere Indizierung lohnen.
Technische Umsetzung
Für „mein“ CMS Postnuke gibt es ein Modul, das automatisch aktuelle Sitemaps generiert. Außerdem bietet Google ein Python Tool an, das Sitemaps erzeugen kann. Natürlich lässt sich die XML-Datei auch von Hand anlegen. Bei kleineren Sites ist das vielleicht auch noch eine Möglichkeit.
Suchmaschinen
Google unterstützt natürlich immer noch die Sitemaps – seit November 2006 hat sich Google aber mit MSN und Yahoo auf einen gemeinsamen Standard geeinigt: Sitemaps 0.9 – der aber bisher nur von Google und von Ask.com unterstützt wird.
Damit die Suchmaschinen die Sitemap finden, gibt es drei Methoden:
1. Google bietet die Möglichkeit die Sitemap in den WebMaster Tools bekannt zu machen. Davon hat allerdings nur Google etwas.
2. Es gibt die eher theoretische Möglichkeit den Suchmaschinen die URL per Ping bekannt zu machen: [searchengine_URL]/ping?sitemap=sitemap_url – das funktioniert wiederum bisher nur mit Ask.com – und da auch nicht mit dieser spezifizierten, sondern unter einer abweichenden URL.
3. Am einfachsten und am wirkungsvollsten sollte die Bekanntmachung per robots.txt sein. Dort fügt man einfach zusätzlich eine Zeile in der Art von Sitemap: [sitemap_location] ein. Das kann dann jede Suchmaschine selbst finden und nutzen, wenn sie es denn unterstützt.
Weitere Infos gibt es auf sitemaps.org.
Links:
sitemaps.org
Sitemap Validator
Schreibe einen Kommentar