################################################### # robots.txt fuer http://www.bali-paintings.de/ # # User-agent: * # # Disallow: / # # 13.12.2008 18:26 AFo # # 11.05.2009 15:21 AFo # # 17.07.2009 14:19 AFo *.pdf / ?* # # 06.10.2009 13:34 AFo etliches entfernt # # 08.10.2009 11:12 AFo abgespeckt # # 19.11.2009 13:59 AFo news.xml eingefügt # # 24.02.2010 21:36 AFo rss.xml eingefügt # ################################################### User-agent: Mediapartners-Google* Disallow: User-agent: Adsbot-Google User-agent: Googlebot User-agent: Googlebot-Image User-agent: Googlebot-Mobile Sitemap: http://www.bali-paintings.de/sitemap.xml Sitemap: http://www.bali-paintings.de/News-Sitemap.xml Sitemap: http://www.bali-paintings.de/rss.xml Disallow: /admin/ Disallow: /cronjob/ Disallow: /mysqldumper/ Disallow: /tuxwebmail/ Disallow: /pdfdocs/ Disallow: /counter/ Disallow: /mint_v217/ Disallow: /*.pdf$ Disallow: /*gutschein* Disallow: /*cronjob* Disallow: /Last_mail_from_* Disallow: /*? #Files Disallow: /products_by_mon.php Disallow: /preisroboter2.php #Disallow: /affiliate-partner-werden-pm-25.html ################################################################################ # Und nun werden alle anderen abgefangen. ################################################################################ User-agent: BotOnParade Disallow: / User-agent: dotbot Disallow: / User-agent: * Sitemap: http://www.bali-paintings.de/sitemap.xml Sitemap: http://www.bali-paintings.de/News-Sitemap.xml Sitemap: http://www.bali-paintings.de/rss.xml Disallow: /admin/ Disallow: /cronjob/ Disallow: /mysqldumper/ Disallow: /tuxwebmail/ Disallow: /pdfdocs/ Disallow: /counter/ Disallow: /mint_v217/ Disallow: /*.pdf$ Disallow: /*gutschein* Disallow: /*cronjob* Disallow: /Last_mail_from_* Disallow: /*? #Files Disallow: /products_by_mon.php Disallow: /preisroboter2.php #Disallow: /affiliate-partner-werden-pm-25.html ################################################################################ # 03.04.2008 19:46 "Crawl-Delay" von 5 für Yahoo! Slurp / ausbremsen ################################################################################ User-agent: Slurp Crawl-delay: 10000 ################################################################################ # Robots.txt syntax checker - http://www.sxw.org.uk/computing/robots/check.html # Syntax OK ################################################################################