Evolution API ecoindex et stack python

[vvatelot]

Bonjour à toutes et tous. Hier j'ai profité de la faible affluence du weekend pour déployer et tester une nouvelle version de l'API ecoindex... Et je me retrouve face à un dilemne, donc je fais appel à vous pour avoir des retours:

Actuellement, l'API ecoindex est développée en Python et utilise Undetected Chromedriver pour effectuer le parcours utilisateur et récupérer les métriques.

Undetected chromedriver

Avantages

• Permet de bypasser les outils de protections antibot tels que datadome, imperva, Botprotect.io

Inconvénients

• Cycle de vie ératique avec des mises à jour aléatoires qui font casser une fois sur 2 le système
• a nécessité beaucoup de développement spécifiques pour palier à des lacunes techniques
• malgré tout, des problèmes de performance persistent (process zombie, memory leak...) et n'ont jamais été corrigé

Ces problèmes devenant impossibles à corriger facilement, j'avais abandonné toute évolution du moteur depuis quelques mois de peur de tout casser.

Il y'a quelques semaines, je suis reparti de zéro (ou presque) en combinant tous les projets ecoindex python dans un seul monorepo en adoptant l'architecture polylith... J'ai alors pu faire beaucoup d'évolutions rapidement et je me suis repenché sur ce problème de moteur.

J'ai voulu en tester un autre et adopter playwright qui est aujourd'hui l'un des standards en terme de navigation headless pour les tests e2e.

Playwright

Avantages

• Standard pour faire des tests e2e et navigation headless (utilisable également en JS, java et .net)
• Très stable et fonctionne out of the box sans devoir hacker quoi que ce soit
• Maintenance très facile

Inconvénients

• Ne bypasse pas les systèmes de protection de bots...

Ce qui veut dire:

• Si on utilise ce nouveau système, je peux me relancer facilement dans des devs et évolutions d'ecoindex (analyses des requêtes, évaluer les BP, développer un SDK python, une UI pour le CLI...) mais pour le site internet www.ecoindex.fr les analyses des grands sites (leboncoin, manomano, decathlon...) qui sont protégés par des systèmes anti bots tomberont probablement en erreur
• Si je reste sur l'ancien système, je serai coincé pour faire évoluer le moteur et les autres outils, mais on sera toujours en capacité d'analyser les grands sites...

Avant d'avancer plus sur tous ces sujets, je fais donc appel à la communauté pour prendre une décision

[EmmanuelDemey]

Pour info, ecoindex-audit fonctionne déjà dans du playwright.

[hrenaud]

J'ai le même problème avec lighthouse-plugin-ecoindex, je ne passe pas les antibot.

Dans la théorie, Puppeteer permet de passer un header et lighthouse un user agent. En utilisant ces deux éléments, on pourrait faire en sorte que l'anti bot laisse passer la collect, mais je n'ai pas réussi sur manomano, car je ne sais pas quoi lui envoyer pour y être autorisé. Et, pour le moment, pour un autre usage, je n'ai pas l'impression que le header (qui commande la fermeture du gestionnaire de cookies) soit accepté, mais là, c'est peut-être un problème de dev, je n'ai pas trop regardé...

J'ignore si je peux, dans le cadre d'un plugin lighthouse, utiliser playwright, lighthouse et Puppeteer semblent bien imbriqué, mais je n'ai pas regardé ce point.

[hrenaud]

J'ai testé et appliqué la méthode décrite ici https://www.zenrows.com/blog/avoid-playwright-bot-detection#user-agent et ça a débloqué le problème d'antibot 🎉

[vvatelot]

Hum, je pense que malheureusement ce n'est pas juste le user agent... 😞
Pour info, j'ai déjà implémenté https://github.com/AtuboDad/playwright_stealth dans la nouvelle version avec playwright. Ce qui inclut notamment la réécriture du UA pour ne pas faire apparaitre headless...

Je pense que les détecteurs antibot ont aussi une connaissance des IP qui sont réputées comme "suspectes" d'être des bots...

[vvatelot]

Mais ceci dit... Je tente quand même ! Soyons fous !

[tbroyer]

Pourquoi se battre ? EcoIndex est un robot, et on a heureusement une alternative avec GreenIT-Analysis (j'imagine que c'est pas bloqué ?)

Si ces sites veulent utiliser l'outil de manière automatisée, il faut leur rendre la vie facile pour débloquer Ecoindex en communiquant clairement qu'ils ont affaire à lui à travers le User-Agent (WebPageTest ajoute un PTST/, PageSpeed Insight in Chrome-Lighthouse) et les adresses IP utilisées (WebPageTest les communique: https://www.webpagetest.org/addresses.php)

My 2¢

[capybarbu]

Déclarer quelque part les IP écoindex sur le site c'est une bonne idée dans tous les cas

[vvatelot]

https://docs.datadome.co/docs/bot-definition Je viens de contacter datadome pour voir ce qu'il faudrait faire pour être reconnu comme un bot "safe"...

[vvatelot]

Pour info

Je pense que c'est en effet la bonne stratégie à suivre...

[bordage]

Je suis pour la seconde option qui permet de maintenir et faire progresser EcoIndex + l'approche de Thomas.