"Bonjour,
J'ai une petite question concernant SEMrush.
Est-il possible de récupérer avec SEM Rush ou un autre outil, les données d'un espace professionnel d'un site internet (protégé avec mot de passe) ?
dixneuf.com - Site public
https://integralpro.dixneuf.com/ - Espace professionnel en sous domaine
Merci d'avance, Dorian :)"
Bonjour Dorian,
Le but de SEMrush est d'aider des sites à obtenir davantage de visibilité.
Un site protégé par un mot de passe ou accessible seulement depuis le réseau interne d'une entreprise ne recherche pas de visibilité publique.
Logiquement donc, il n'a pas vocation à être optimisé pour le SEO et crawlé par divers robots, dont celui de SEMrush.
La question par contre l'occasion de parler du fichier robots.txt et d'éclairer son fonctionnement.
Ce fichier peut être utilisé pour chaque domaine ET chaque sous-domaine.
En l'espèce par exemple, il y a bien un robots.txt différent pour https://www.dixneuf.com/robots.txt :
... et pour https://integralpro.dixneuf.com/robots.txt :
Celui-ci a comme consigne de bloquer l'ensemble des robots, dont Google Bot.
Aucune page n'est donc indexée lorsqu'on tape "site:" :
Un E-commerce est comme un supermarché. Son responsable détermine les produits mis en avant et tente d'aiguiller le chemin de ses prospects (pas d'accueil = tête de gondole).
Le client n'a par contre pas accès aux bureaux et aux réserves ;).
