GoSearchBot

Le robot qui alimente Go Search. Cette page explique ce qu'il fait, à quel rythme, et comment lui interdire l'accès à votre site.

Comment le reconnaître

Il s'annonce dans chaque requête avec cet en-tête :

GoSearchBot/0.1 (+https://gosearch.dev/bot)

Comment il se comporte

Il lit votre robots.txt avant toute autre page, et le respecte sans exception.
Il n'ouvre qu'une connexion à la fois par site, avec au minimum une seconde entre deux pages.
Si votre robots.txt indique un Crawl-delay, il applique la valeur la plus prudente entre la vôtre et la sienne.
Il n'explore que les domaines de son périmètre. Il ne suit pas les liens qui en sortent.
Il utilise des requêtes conditionnelles : une page inchangée n'est pas retéléchargée.
Il respecte les balises noindex et noai.

Lui interdire votre site

Ajoutez ceci à votre robots.txt :

User-agent: GoSearchBot
Disallow: /

La consigne est prise en compte au plus tard douze heures après sa publication, durée de mise en cache du fichier. Aucune démarche supplémentaire n'est nécessaire.

Pour n'écarter qu'une partie du site, indiquez les chemins concernés plutôt que /.

Nous écrire

Un comportement anormal, une demande de retrait, une question : écrivez à contact@upjunoo.com. Les demandes de retrait sont traitées sans discussion.