spider 0 araña Robot que, de forma automática, busca en la red páginas web nuevas con las que alimentar las bases de datos de un motor de búsqueda. 2001-03-24 crawlerrastreador robotrobot robots.txt robots.txt search enginebuscador SEOSearch Engine Optimization