User-agent: * Disallow: /admin/ Disallow: /cgi-bin/ Disallow: /fotos/ # Allow: /fotos/orig/ Disallow: /func/ Disallow: /img/ # Establecemos total libertad para webcrawler # Ya que dejamos Disallow vacio # User-agent: webcrawler # Disallow: # ------------------------------------------------ # En cambio lycra y BadBot # tiene prohibido integramente el acceso # User-agent: lycra # User-agent: BadBot # Disallow: / #------------------------------------------------- # El resto de bots (seņalado mediante *) # tiene prohibido el acceso a los directorios # /tmp y /log; libertad para el resto. # User-agent: * # Disallow: /tmp # Disallow: /logs #------------------------------------------------- # Disallow: /help ---> Afecta a /help.html y a /help/index.html # Disallow: /help/ ---> Afecta a /help/index.html pero no a /help.html.