#######################################################
# exclude certain content from all robots
#######################################################

User-agent: *
Disallow: /cgi-bin
Disallow: /webstat
Disallow: /software/mel
Disallow: /private
Disallow: /emaillink.js


#######################################################
# stop Google getting trapped in the honey-pots
#######################################################

User-agent: Googlebot
Disallow: /blk_hle.php
Disallow: /blk_hle2.php
Disallow: /blk_hle3.php


#######################################################
# attempt to exclude all known email harvesters
#######################################################

User-agent: Titan
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: EmailSiphon
Disallow: /

User-agent: EmailWolf
Disallow: /

User-agent: ExtractorPro
Disallow: /

User-agent: CherryPicker
Disallow: /

User-agent: NICErsPRO
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: Crescent Internet ToolPak
Disallow: /

User-agent: StripIt
Disallow: /