User-agent: * # Bestimmte Seite (URL) nicht indexieren ( bei Url's ist auf groß-kleinschreibweise zu achten ) Disallow: /fileadmin/admin_upload/swf_gallery/gallery.xml # Bestimmten Ordner nicht indexieren #Disallow: /Bilder/ # aber diese eine Datei doch für robots zulassen # Allow: /fileadmin/admin_upload/swf_gallery/gallery.xml # Bestimmte Datei o. Ordner nicht indexieren welche beginnen mit: index (ohne slash (/) am Ende) #Disallow: /index # Seiten mit einer bestimmten Dateiendung nicht indexieren ( hier alle Seiten mit der Endung php ) #Disallow: /*.php$ # Dynamische Seiten nicht indexieren (z.B. http://www.domain.de/redirect.php?seite=main ) #Disallow: /redirect.php?*$