# Modifié le 02/06/2007 # # http://www.robotstxt.org/wc/norobots.html # # Les robots au comportement inapproprié, les franchement mal venus et les # affreux spammeurs reçoivent ailleurs un traitement de faveur... # Ceux qui ne sont pas les bienvenus... # BecomeBot = Index les "sites commerciaux" # ichiro = Robot multimédia japonais pour mobile. Bof. # NimbleCrawler = healthline.com. Sans intérêt User-agent: BecomeBot User-agent: BunnySlippers User-agent: CherryPicker User-agent: CopyGuard User-agent: CopyRightCheck User-agent: Crescent User-agent: Digimarc User-agent: EmailCollector User-agent: EmailSiphon User-agent: EmailWolf User-agent: ExtractorPro User-agent: ichiro User-agent: ilial User-agent: IPiumBot User-agent: JavaBee User-agent: Microsoft.URL User-agent: NICErsPRO User-agent: NimbleCrawler User-agent: noxtrumbot User-agent: NPBot User-agent: psbot User-agent: SBIder User-agent: SlySearch User-agent: Telesoft User-agent: WebBandit User-agent: WebEMailExtrac User-agent: WhosTalking User-agent: Zeus Disallow: / # archive.org: The Wayback Machine # User-agent: ia_archiver # Entrées spécifiques archive.org # Autorisé pour archive.org mais pas pour les robots génériques # Pour tous les autres robots User-agent: * # Entrées +/- système Disallow: /addon-modules/ Disallow: /cgi-bin/ Disallow: /cacti/ Disallow: /cacti Disallow: /htdig/ Disallow: /manual/ Disallow: /nuke/ Disallow: /phpmv2/ Disallow: /pmv/ Disallow: /404.html # Répertoires spécifiques Disallow: /files/ Disallow: /images/ Disallow: /img/ Disallow: /sound/ # Pages individuelles Disallow: /contact