¿Debemos optimizar los sitios de intranet o los sitios donde el acceso está protegido?

" Buenos dias,

Tengo una pregunta rápida sobre SEMrush.

¿Es posible recuperar con SEM Rush u otra herramienta, los datos de un espacio profesional de un sitio web (protegido con contraseña)?

diecinueve.com - Sitio público

https://integralpro.dixneuf.com/  – Espace professionnel en sous domaine

Gracias de antemano, Dorian 🙂 »

Hola Dorian,

El objetivo de SEMrush es ayudar a los sitios a obtener más visibilidad.

Un sitio protegido por contraseña o accesible solo desde la red interna de una empresa no busca visibilidad pública.

Por lo tanto, lógicamente, no está destinado a ser optimizado para SEO y rastreado por varios robots, incluido el de SEMrush.

La pregunta, en cambio, es la oportunidad de hablar sobre el archivo robots.txt y aclarar su funcionamiento.

Este archivo se puede utilizar para todos los dominios Y todos los subdominios.

En este caso, por ejemplo, existe un archivo robots.txt diferente para https://www.dixneuf.com/robots.txt:

… Y para https://integralpro.dixneuf.com/robots.txt:

Este tiene instrucciones de bloquear todos los robots, incluido Google Bot.

Por lo tanto, no se indexa ninguna página cuando escribe "sitio:":

Un comercio electrónico es como un supermercado. Su gerente determina los productos presentados e intenta dirigir el camino de sus prospectos (sin recepción = cabeza de góndola).

Por otro lado, el cliente no tiene acceso a las oficinas y las reservas;).