« JvArchive » : différence entre les versions
user: ae08fa7 (?) Aucun résumé des modifications |
user: ae08fa7 (?) |
||
Ligne 77 : | Ligne 77 : | ||
Face aux nouvelles protection de Webedia contre le [https://fr.wikipedia.org/wiki/Web_scraping scraping] , l'administration de JvArchive semble particulièrement démunie au vu de la persistance du problème, et beaucoup de forumeurs prédisent la fermeture du site. | Face aux nouvelles protection de Webedia contre le [https://fr.wikipedia.org/wiki/Web_scraping scraping] , l'administration de JvArchive semble particulièrement démunie au vu de la persistance du problème, et beaucoup de forumeurs prédisent la fermeture du site. | ||
En effet, les coûts nécessaires afin de contourner les mesures de Webedia pourraient être démesurés | En effet, les coûts nécessaires afin de contourner les mesures de Webedia pourraient être démesurés. | ||
De plus, le script pourrait devoir être régulièrement modifié sans cesse suite à des changements de la part de Webedia visant à casser le script (HTML, paramètres de protection contre les bots etc.), provoquant un épuisement, une stratégie déjà utilisée par Webedia pour [[JV Parallele|JV Parallèle.]] | De plus, le script pourrait devoir être régulièrement modifié sans cesse suite à des changements de la part de Webedia visant à casser le script (HTML, paramètres de protection contre les bots etc.), provoquant un épuisement, une stratégie déjà utilisée par Webedia pour [[JV Parallele|JV Parallèle.]] |
Version du 1 août 2022 à 22:45
JvArchive | |
---|---|
| |
Ouverture | Mars 2021 |
URL | https://jvarchive.com/ |
État | Très perturbé |
JvArchive est un site archivant les topics du forum 18-25 afin que ceux-ci restent accessibles en cas de suppression (par la modération de jeuxvideo.com ou par l'auteur du topic).
Le site apparaît pour la première fois sur un topic le 4 mars 2021. Celui-ci est très rapidement supprimé, et il n'est plus possible de poster l'URL de JvArchive, celle-ci ayant été ajoutée au bot blacklist (500).
Il s'agit aujourd'hui de l'un des sites les plus visités de la communauté du 18-25 et fait figure d'outil indispensable pour la plupart des forumeurs actifs[1].
Depuis juillet 2022, suite à la mise en place de mesures de protection par Webedia contre les nombreuses requêtes de JvArchive, le service rencontre de graves perturbations, faisant par ailleurs exploser les coûts de maintien du site. L'archivage ne fonctionne généralement plus, et quand il fonctionne, de manière intermittente.
Objectif
Expliqué par son auteur dans une FAQ présente sur le site [2], l'objectif du site est de sauvegarder un maximum le forum 18-25. L'auteur justifie ce projet par la politique de modération violente et diverses actions de jeuxvideo.com empêchant une bonne préservation des contenus des forums blabla.
Fonctionnement
Une crawler parcours le forum sans interruption et enregistre les topics. Dans certains cas il arrive que le crawler n'ait pas pu archiver le contenu d'un topic si sa suppression fut trop rapide.
Modération
Le site indique procéder à une modération légère: Fraude, pédopornographie et terrorisme uniquement. À noter qu'en cas de suppression, c'est uniquement les posts concernés qui sautent et non les topics entiers.
Hébergement
Pour des raisons légales évidentes, le site n'est pas hébergé dans l'Union européenne.
Admin
L'admin de JvArchive a gardé un anonymat parfait et ne peut être joint qu'à travers l'adresse mail laissée sur le site : jvarchive @ protonmail.com.
Utilisation
Pour obtenir la version archivée d'un topic du 18-25, il suffit de remplacer dans l'url du topic "jeuxvideo.com" par "jvarchive.com". Notons que l'astuce fonctionne aussi pour un pseudo ou un message particulier.
Exemple:
https://www.jeuxvideo.com/forums/42-51-65395814-1-0-1-0-officiel-tournoi-des-6-nations-2021.htm [JvArchive]
devient
https://www.jvarchive.com/forums/42-51-65395814-1-0-1-0-officiel-tournoi-des-6-nations-2021.htm
Sinon, il est possible d'utiliser la barre de recherche et rechercher par mots-clés le titre du topic.
API
JvArchive met à disposition du public une API utilisable gratuitement. [3] En dehors du site, elle est notamment utilisée par les userscrips Deboucled et l'extension officielle "Jvarchive compagnon".
Histoire
2021
- Le 4 mars 2021, le premier topic diffusant l'URL est créé.
2022
- Le 13 juillet 2022, un message d'alerte est affiché sur la page d'accueil de JvArchive. Ce message indique que le crawler utilisé pour extraire les données en provenance du forum 18-25 de Jeuxvideo.com a été bloqué par Webedia, rendant l'archivage des topics impossible.
- Le 17 juillet 2022, l'accès au site est rétabli (soit une interruption de 5 jours), mais le crawler de JvArchive se voit de nouveau très rapidement bloqué par Webedia.
- Le 21 juillet 2022, un message d'alerte est de nouveau affiché sur la page d'accueil de JvArchive, pour le même motif que le 13 juillet (blocage par Webedia). Les blocages menés par Webedia sont basés sur la protection applicative du service Cloudflare : lorsqu'une requête ou une IP source est suspecte, la requête HTTP est interceptée et réclame un captcha ou est tout simplement bloquée (Erreur 1020), bloquant en conséquence le crawler de JvArchive. A partir de cette période, le crawler de JvArchive commence à rencontrer de sérieuses difficultés pour atteindre le 18-25 : on peut constater des archivages totalement aléatoires, à n'importe quelle heure de la journée, de très courte durée.
- Le 23 juillet 2022, JvArchive est de nouveau fonctionnel aux alentours de minuit, mettant à bas les efforts de Webedia malgré leurs diverses tentatives de blocage, ainsi que l'aide d'AntoineForum - [CLOUDFLARE] Nouvelles recommandations à Webedia
- Le 24 juillet 2022, JvArchive sort officiellement de "maintenance" et indique ouvertement que Webedia tente tant bien que mal à contrer le crawler associé au site. Une requête de soutien du site en crypto est mise en avant pour l'occasion.
- Le 25 juillet 2022, étant pour anecdote un jour ouvrable (un lundi, signant le retour de l'équipe technique de Webedia), le crawler de JvArchive se voit à nouveau bloqué aux alentours de 9h40. Il est de retour dans la soirée vers 21h00, mettant de nouveau à mal les efforts de Webedia.
- Le 26 juillet 2022 vers 13h00, le site est de nouveau bloqué, provoquant un suspens intense.
Critiques
Un certain nombre de forumeurs indiquent ne pas se sentir tranquille à l'idée que JvArchive enregistre tous leurs posts et qu'on puisse retrouver facilement tout ce qu'ils ont écris sur le forum grâce au site, malgré les suppressions[4][5][6].
Perturbations depuis juillet 2022
Face aux nouvelles protection de Webedia contre le scraping , l'administration de JvArchive semble particulièrement démunie au vu de la persistance du problème, et beaucoup de forumeurs prédisent la fermeture du site.
En effet, les coûts nécessaires afin de contourner les mesures de Webedia pourraient être démesurés.
De plus, le script pourrait devoir être régulièrement modifié sans cesse suite à des changements de la part de Webedia visant à casser le script (HTML, paramètres de protection contre les bots etc.), provoquant un épuisement, une stratégie déjà utilisée par Webedia pour JV Parallèle.
Dès le premières perturbations, une bannière demandant de l'aide a été publiée, incitant les développeurs à les contacter afin de développer une solution.
Liens externes
Références
- ↑ https://jvarchive.com/forums/message/1193719293
- ↑ https://jvarchive.com/faq
- ↑ https://jvarchive.com/swagger-ui
- ↑ https://jvarchive.com/forums/message/1193719077
- ↑ https://jvarchive.com/forums/42-51-69786451-1-0-1-0-pas-moyen-de-supprimer-ses-topics-sur-jvarchive
- ↑ https://jvarchive.com/forums/42-51-69740705-2-0-1-0-on-en-talk-de-jvarchive-qui-sauvegarde-tout