# robots.txt
User-agent: *
Disallow: /intranet
Disallow: /moduli
Disallow: /manual
Disallow: /bandi
# per problema HomePage Mattoscio
Disallow: /areaeconomica/00/laurea%20base/insegnamenti/laboratorio%20etica/laboratorio%20etica.htm
# non usare lo script di bibsearch
Disallow: /biblio/bibsearch.php
# googlebot non indicizzare i pdf
# User-agent: Googlebot 
# Disallow: /*.pdf$ 
# rompono le scatole cercando insistentemente URL non esistenti 
User-agent: ia_archiver
Disallow: / 
User-agent: twiceler
Disallow: /
User-agent: Twiceler-0.9
Disallow: /