# 全部限制存取的robots.txt 
User-agent: *
#阻絕Google的網路蜘蛛
user-agent:Googlebot
#禁止存取根目錄資訊
Disallow: /
#禁止存取cgi-bin目錄中的資訊
disallow: /cig-bin 
#宣告所有PDF格式的檔案禁止擷取
disallow:/*.pdf$ 
disallow:/*.jpg$
disallow:/*.gif$
disallow:/*.zip$