El documento robots.txt es una herramienta clave para dirigir cómo los motores de búsqueda exploran tu portal. Ofrece a los bots instrucciones sobre cuáles secciones de tu sitio pueden ser rastreadas y cuáles no deben ser ignoradas . Una configuración adecuada del robots.txt puede mejorar tu SEO