NO Open Directory Project
El acceso de los rastreadores puede controlarse utilizando los robots a través de las metaetiquetas. Estas etiquetas se sitúan en la cabecera del código fuente de un sitio web. La orden para los rastreadores se escribe de formas diferentes dependiendo de cuál es destinatario.
Para cuaquier rastreador:
<meta name="robots" content="noodp"/>
Exclusivamente para Microsoft:
<meta name="msnbot" content="noodp"/>
Y para los rastreadores de Google:
<meta name="GoogleBot" content="noodp"/>
Para dar permiso a todos los rastreadores para que puedan acceder al contenido e indexarlo, y que tienen la autorización de seguir los enlaces. Sin embargo, los meta títulos y las meta descripciones no pueden extraerse del DMOZ.
<meta name="robots" content="index, follow, noodp"/>
- DMOZdirectory.mozilla.org