Exploration, logs, budget crawl, priorisation et gestion des paramètres d’URL.
Pendant 41 jours, une expérience a comparé des pages reliées en HTML à d’autres accessibles uniquement par des liens injectés en JavaScript. GPTBot, ClaudeBot et plusieurs autres crawlers IA n’ont découvert aucune page via ces liens, tandis que Googlebot n’en a atteint que 2 %.
Google Search prendra à terme en charge la nouvelle méthode HTTP QUERY, conçue pour combiner certaines propriétés de GET et POST. Gary Illyes estime qu’elle pourrait notamment simplifier les navigations à facettes et les systèmes de filtres complexes.
Des traces de crawl attribuées à Meta ont été observées sur plusieurs sites, alimentant l’hypothèse d’un index web développé en interne. L’objectif évoqué serait notamment de permettre aux services d’IA du groupe de s’appuyer sur leurs propres données de recherche plutôt que sur celles d’un partenaire.
Mark Williams-Cook a créé un faux standard baptisé cats.txt pour tester les arguments habituellement avancés en faveur de llms.txt. Le fichier a été crawlé, indexé, repris par des IA et même recommandé par ChatGPT, sans que cela démontre qu’il soit utilisé comme un signal spécifique.
Les crawlers de Google ne se limitent pas aux requêtes HTTP GET et POST. Gary Illyes précise qu’ils utilisent aussi HEAD, OPTIONS, PUT, PATCH et DELETE, même si ces méthodes représentent moins de 1,5 % de leurs requêtes. Gary Illyes, analyste au sein de l’équipe Google Search, a apporté cette précision après avoir reçu plusieurs […]
Plusieurs éditeurs, dont USA Today, Reuters, Politico et People Inc., réexaminent l’accès accordé à Google. Aucun n’a encore annoncé son retrait complet du moteur de recherche.
La version 7.0 du Log File Analyser de Screaming Frog introduit la vérification des bots IA. Une évolution qui permet de fiabiliser l’analyse des logs dans un contexte où les crawlers se multiplient. La vérification des bots IA devient centrale Screaming Frog ajoute la vérification des bots IA dans son Log File Analyser. Comme pour […]
L’essor des agents IA amène à repenser la manière dont les contenus sont conçus et structurés. Addy Osmani propose un cadre nommé “Agentic Engine Optimization” (AEO), pensé pour des systèmes capables de récupérer, analyser et exploiter des contenus sans interaction humaine. Cette approche, distincte du SEO classique, vise à adapter les contenus à des usages […]
Une étude menée sur 24,4 millions de requêtes montre que les crawlers liés à l’IA dépassent désormais Googlebot sur un échantillon de 69 sites. ChatGPT-User arrive largement en tête, dans un contexte où les logiques de crawl évoluent et où les usages entre robots se différencient de plus en plus. Une analyse publiée par Alli […]
Google a retouché sa documentation sur les limites de taille des fichiers crawlés, après des incompréhensions côté SEO. Le texte rappelle la limite par défaut à 15 Mo, tout en précisant que Googlebot peut avoir un plafond plus bas (ex. 2 Mo) et que les limites peuvent varier selon le type de fichier (PDF vs […]
