« JvArchive » : différence entre les versions
(Déplacé histoire 2025 en sous-catégorie vu la durée des turbulences et ajout de précisions et d'une solution) |
(réorganisation de la page, section accès mise en évidence) |
||
Ligne 16 : | Ligne 16 : | ||
Il s'agit aujourd'hui du [[Sites et outils liés à jeuxvideo.com|site]] le plus visité de la communauté du 18-25<ref>https://www.similarweb.com/fr/website/jvarchive.com/</ref> et fait figure d'outil indispensable pour la plupart des forumeurs actifs<ref>https://jvarchive.com/forums/message/1193719293</ref>. | Il s'agit aujourd'hui du [[Sites et outils liés à jeuxvideo.com|site]] le plus visité de la communauté du 18-25<ref>https://www.similarweb.com/fr/website/jvarchive.com/</ref> et fait figure d'outil indispensable pour la plupart des forumeurs actifs<ref>https://jvarchive.com/forums/message/1193719293</ref>. | ||
L'auteur explique dans la FAQ du site, que son objectif est de sauvegarder au maximum le forum 18-25<ref>https://jvarchive.com/faq</ref>. L'auteur justifie ce projet par la politique de modération violente et diverses actions de [[jeuxvideo.com]] empêchant une bonne préservation des contenus des forums blabla. | |||
Similaire aux projets d'archivage des forumeurs ''RedSky'' et ''Glosoli'', ainsi que de [[Bruiter]], JvArchive est l'archive qui actuellement est restée en ligne le plus longtemps d'entre eux. | Similaire aux projets d'archivage des forumeurs ''RedSky'' et ''Glosoli'', ainsi que de [[Bruiter]], JvArchive est l'archive qui actuellement est restée en ligne le plus longtemps d'entre eux. | ||
== | == Accès== | ||
Depuis le 30 décembre 2024, le domaine de JvArchive est désactivé<ref>Le 2 janvier 2025, aucune IP associée au domaine et ce sur tout les serveurs DNS dont le cache est à jour | |||
https://www.nslookup.io/domains/jvarchive.com/dns-records/</ref>. Celui-ci expirant normalement en février 2025<ref>https://www.whatsmydns.net/domain-expiration?q=jvarchive.com</ref>, cette perturbation peut être le fruit d'une enquête de [[PHAROS]] à la suite d'un [[Signal gouv]] ou d'une action de la DGSI suite à une plainte déposée par [[Webedia]]. Cependant, le serveur est toujours actif. Le site est accessible soit via TOR soit via une manipulation décrite ci-dessous : | |||
===Solution sans passer par Tor=== | |||
Il est possible de consulter le site en réassociant au domaine son addresse IP. | |||
Pour ce faire, [https://www.google.com/search?q=comment+modifier+mon+fichier+hosts modifiez votre fichier hosts] en y ajoutant la ligne suivante<ref>Dernière IP vers laquelle le domaine pointait, appartient au réseau Cloudflare | |||
https://whoisfreaks.com/tools/dns/history/lookup/jvarchive.com?type=a</ref>: | |||
<code>188.114.97.0 jvarchive.com</code> | |||
''L'adresse donnée ci-dessus est susceptible de changer, merci de la mettre à jour le cas échéant.'' | |||
'''N'oubliez pas de supprimer cette ligne de votre fichier hosts une fois le domaine de retour.''' | |||
== Fonctionnement == | == Fonctionnement == | ||
Un crawler parcours le forum sans interruption et archive les topics qui apparaissent dans les premières pages de la liste des sujets. Pour cette raison les anciens topics précédents la mise en place du site ne sont pas archivés pour la plupart. Certains forumeurs peuvent d'ailleurs [[Up|upper]] volontairement un ancien topic afin que JVArchive le remarque et l'archive. | Un crawler parcours le forum sans interruption et archive les ''topics'' qui apparaissent dans les premières pages de la liste des sujets. Pour cette raison les anciens topics précédents la mise en place du site ne sont pas archivés pour la plupart. Certains forumeurs peuvent d'ailleurs [[Up|upper]] volontairement un ancien topic afin que JVArchive le remarque et l'archive. | ||
Dans certains cas il arrive que le ''crawler'' n'ait pas pu archiver le contenu d'un topic ou d'un message si sa [[suppression]] fut trop rapide. Les [[Sondage|sondages]] ne sont pas non plus archivés. | Dans certains cas il arrive que le ''crawler'' n'ait pas pu archiver le contenu d'un topic ou d'un message si sa [[suppression]] fut trop rapide. Les [[Sondage|sondages]] ne sont pas non plus archivés. | ||
Ligne 42 : | Ligne 59 : | ||
L'admin de JvArchive a gardé un anonymat parfait et ne peut être joint qu'à travers l'adresse mail laissée sur le site : ''jvarchive @ protonmail.com.'' | L'admin de JvArchive a gardé un anonymat parfait et ne peut être joint qu'à travers l'adresse mail laissée sur le site : ''jvarchive @ protonmail.com.'' | ||
=== API | === API === | ||
JvArchive met à disposition du public une API utilisable gratuitement<ref>https://jvarchive.com/swagger-ui</ref>. En dehors du site, elle est notamment utilisée par les userscripts [[Deboucled|Déboucled]] et l'extension officielle "''JvArchive Compagnon''". | JvArchive met à disposition du public une API utilisable gratuitement<ref>https://jvarchive.com/swagger-ui</ref>. En dehors du site, elle est notamment utilisée par les userscripts [[Deboucled|Déboucled]] et l'extension officielle "''JvArchive Compagnon''". | ||
Le site | === Archives publiques === | ||
JvArchive propose des archives complètes du 18-25 comprenant l'intégralité des messages depuis le début de Respawn (donc aux alentours de 2014). On y obtient également les topics, des flags qui indiquent si les topics ont été supprimés ou non par l'auteur ou la modération, et on a également une liste de pseudos avec leur ID associé. | |||
Il est possible d'importer les archives en question dans une base PostgreSQL afin de pouvoir les traiter comme désiré. | |||
Les archives étant au format CSV, elles peuvent être importées dans des tables avec la fonction COPY de PostgreSQL. | |||
Voici un schéma facilement compatible avec les dumps JvArchive : https://pastebin.com/EzNgjqKG | |||
Notez que les dumps étants lourds (environ 50 Go de messages à traiter), il est recommandé d'utiliser au maximum des index et le tout sur une machine haute performance côté disque (de préférence un RAID de disques SAS, ou du NVMe). | |||
A noter qu'il est inutile d'importer chaque dump pour obtenir l'intégralité des messages du 18-25. Le dernier dump publié sur le site, comprend l'intégralité des messages du 18-25. | |||
== Critiques == | |||
Un certain nombre de forumeurs indiquent ne pas se sentir tranquille à l'idée que JvArchive enregistre tous leurs posts et qu'on puisse retrouver facilement tout ce qu'ils ont écris sur le forum grâce au site, malgré les suppressions<ref>https://jvarchive.com/forums/message/1193719077</ref><ref>https://jvarchive.com/forums/42-51-69786451-1-0-1-0-pas-moyen-de-supprimer-ses-topics-sur-jvarchive</ref><ref>https://jvarchive.com/forums/42-51-69740705-2-0-1-0-on-en-talk-de-jvarchive-qui-sauvegarde-tout</ref>. | |||
==Histoire== | ==Histoire== | ||
Ligne 90 : | Ligne 119 : | ||
* Le '''29 novembre''', JvArchive est down. Mais est restauré quelques heures plus tard. | * Le '''29 novembre''', JvArchive est down. Mais est restauré quelques heures plus tard. | ||
* Le '''14 décembre''', le [https://fr.wikipedia.org/wiki/Web_scraping scraping] est arrêté à la suite de la mise en place de fonctionnalités anti-bot avec Cloudflare, qui provoque une navigation compliquée pour certains utilisateurs. Il est rétabli le lendemain. | * Le '''14 décembre''', le [https://fr.wikipedia.org/wiki/Web_scraping scraping] est arrêté à la suite de la mise en place de fonctionnalités anti-bot avec Cloudflare, qui provoque une navigation compliquée pour certains utilisateurs. Il est rétabli le lendemain. | ||
* Du '''19 décembre''' au '''22 décembre''', suite à un nouveau changement de JVC, beaucoup de topics apparaissent avec le statut "supprimé" dans JVA | * Du '''19 décembre''' au '''22 décembre''', suite à un nouveau changement de JVC, beaucoup de topics apparaissent avec le statut "supprimé" dans JVA malgré leurs disponibilité sur JVC. JVC renvoyant des erreurs "410 gone" sur certains navigateurs. Ça semble patché sur JVA après le 22 mais le soucis persiste sur JVC. | ||
== Perturbations en juillet 2022 == | == Perturbations en juillet 2022 == | ||
Ligne 106 : | Ligne 132 : | ||
Il se pourrait qu'à l'avenir, [[Webedia]] en vienne à prendre d'autres mesures visant à casser le script d'archivage (HTML, paramètres de protection contre les bots etc.) tout en maintenant les autres mesures de protection, provoquant un épuisement des développeurs, une stratégie déjà utilisée par Webedia pour [[JV Parallele|JV Parallèle.]] et qui serait probablement applicable à JvArchive. | Il se pourrait qu'à l'avenir, [[Webedia]] en vienne à prendre d'autres mesures visant à casser le script d'archivage (HTML, paramètres de protection contre les bots etc.) tout en maintenant les autres mesures de protection, provoquant un épuisement des développeurs, une stratégie déjà utilisée par Webedia pour [[JV Parallele|JV Parallèle.]] et qui serait probablement applicable à JvArchive. | ||
==Miroirs== | ==Miroirs== | ||
JvArchive rend ses données publiques. De fait, il est possible de créer des miroirs de JvArchive. A ce jour, le seul miroir connu de JvArchive est [[Geevey.com]]. | JvArchive rend ses données publiques. De fait, il est possible de créer des miroirs de JvArchive. A ce jour, le seul miroir connu de JvArchive est [[Geevey.com]]. | ||
{{SectionRéférences}} | {{SectionRéférences}} |
Version du 2 janvier 2025 à 19:41
JvArchive | |
---|---|
Ouverture | Mars 2021 |
URL | https://jvarchive.com/ |
URL Tor | http://jvarch5snkl25gv6vd4ab3qv4prhpcvnvpiyenf5mh4j43t7n43zrqid.onion/ |
JvArchive (TOR), est un site archivant les topics du forum 18-25 afin que ceux-ci restent accessibles en cas de suppression (par la modération de jeuxvideo.com ou par l'auteur du topic).
Le site apparaît pour la première fois sur un topic le 4 mars 2021. Celui-ci est très rapidement supprimé, et il n'est plus possible de poster l'URL de JvArchive, celle-ci ayant été ajoutée au bot blacklist (erreur 500).
Il s'agit aujourd'hui du site le plus visité de la communauté du 18-25[1] et fait figure d'outil indispensable pour la plupart des forumeurs actifs[2].
L'auteur explique dans la FAQ du site, que son objectif est de sauvegarder au maximum le forum 18-25[3]. L'auteur justifie ce projet par la politique de modération violente et diverses actions de jeuxvideo.com empêchant une bonne préservation des contenus des forums blabla.
Similaire aux projets d'archivage des forumeurs RedSky et Glosoli, ainsi que de Bruiter, JvArchive est l'archive qui actuellement est restée en ligne le plus longtemps d'entre eux.
Accès
Depuis le 30 décembre 2024, le domaine de JvArchive est désactivé[4]. Celui-ci expirant normalement en février 2025[5], cette perturbation peut être le fruit d'une enquête de PHAROS à la suite d'un Signal gouv ou d'une action de la DGSI suite à une plainte déposée par Webedia. Cependant, le serveur est toujours actif. Le site est accessible soit via TOR soit via une manipulation décrite ci-dessous :
Solution sans passer par Tor
Il est possible de consulter le site en réassociant au domaine son addresse IP.
Pour ce faire, modifiez votre fichier hosts en y ajoutant la ligne suivante[6]:
188.114.97.0 jvarchive.com
L'adresse donnée ci-dessus est susceptible de changer, merci de la mettre à jour le cas échéant.
N'oubliez pas de supprimer cette ligne de votre fichier hosts une fois le domaine de retour.
Fonctionnement
Un crawler parcours le forum sans interruption et archive les topics qui apparaissent dans les premières pages de la liste des sujets. Pour cette raison les anciens topics précédents la mise en place du site ne sont pas archivés pour la plupart. Certains forumeurs peuvent d'ailleurs upper volontairement un ancien topic afin que JVArchive le remarque et l'archive.
Dans certains cas il arrive que le crawler n'ait pas pu archiver le contenu d'un topic ou d'un message si sa suppression fut trop rapide. Les sondages ne sont pas non plus archivés.
Pour obtenir la version archivée d'un topic du 18-25, il suffit de remplacer dans l'url du topic "jeuxvideo.com" par "jvarchive.com". La démarche est la même pour obtenir le lien permanent d'un message du 18-25, ou bien le profil d'un utilisateur ayant posté au moins une fois sur le forum.
Il est possible d'effectuer une recherche de topic dans toute la base de donnée, mais aussi de trouver tous les topics créés par un forumeur particulier en cherchant son pseudo. Pour l'instant les résultats ne sont classables que par un seul paramètre : si ils ont été supprimés sur jeuxvideo.com ou non. Il n'est pas encore possible d'effectuer une recherche par message, ou par date.
Hébergement et détails
D'après le WHOIS du site, le registraire est Tucows Pour des raisons légales évidentes, le site n'est pas hébergé dans l'Union européenne. Selon certains il est hébergé aux États Unis ou en Finlande[7].
Il faut savoir que les archives JVC type JVA, ça utilise des IP rotatives. En fait, quand le script qui gère l'archivage fait une requête vers JVC, il change immédiatement d'IP. Donc le ban IP est impossible, et la localisation de la source aussi. Les IP sont majoritairement des proxys random trouvés sur Internet, souvent créés accidentellement.
Modération et Admin
Le site indique procéder à une modération légère: Fraude, pédopornographie et terrorisme uniquement. À noter qu'en cas de suppression, c'est uniquement les posts concernés qui sautent et non les topics entiers.
L'admin de JvArchive a gardé un anonymat parfait et ne peut être joint qu'à travers l'adresse mail laissée sur le site : jvarchive @ protonmail.com.
API
JvArchive met à disposition du public une API utilisable gratuitement[8]. En dehors du site, elle est notamment utilisée par les userscripts Déboucled et l'extension officielle "JvArchive Compagnon".
Archives publiques
JvArchive propose des archives complètes du 18-25 comprenant l'intégralité des messages depuis le début de Respawn (donc aux alentours de 2014). On y obtient également les topics, des flags qui indiquent si les topics ont été supprimés ou non par l'auteur ou la modération, et on a également une liste de pseudos avec leur ID associé. Il est possible d'importer les archives en question dans une base PostgreSQL afin de pouvoir les traiter comme désiré. Les archives étant au format CSV, elles peuvent être importées dans des tables avec la fonction COPY de PostgreSQL.
Voici un schéma facilement compatible avec les dumps JvArchive : https://pastebin.com/EzNgjqKG
Notez que les dumps étants lourds (environ 50 Go de messages à traiter), il est recommandé d'utiliser au maximum des index et le tout sur une machine haute performance côté disque (de préférence un RAID de disques SAS, ou du NVMe).
A noter qu'il est inutile d'importer chaque dump pour obtenir l'intégralité des messages du 18-25. Le dernier dump publié sur le site, comprend l'intégralité des messages du 18-25.
Critiques
Un certain nombre de forumeurs indiquent ne pas se sentir tranquille à l'idée que JvArchive enregistre tous leurs posts et qu'on puisse retrouver facilement tout ce qu'ils ont écris sur le forum grâce au site, malgré les suppressions[9][10][11].
Histoire
2020
- Le site semble avoir commencé à archiver le forum en décembre 2020.
2021
- Le 26 février, le nom de domaine est enregistré.
- Le 4 mars, le premier topic diffusant l'URL est créé.
2022
Webedia contre-attaque
- Le 13 juillet, un message d'alerte est affiché sur la page d'accueil de JvArchive. Ce message indique que le crawler utilisé pour extraire les données en provenance du forum 18-25 de Jeuxvideo.com a été bloqué par Webedia, rendant l'archivage des topics impossible.
- Le 17 juillet, l'accès au site est rétabli (soit une interruption de 5 jours), mais le crawler de JvArchive se voit de nouveau très rapidement bloqué par Webedia.
- Le 21 juillet, un message d'alerte est de nouveau affiché sur la page d'accueil de JvArchive, pour le même motif que le 13 juillet (blocage par Webedia). Les blocages menés par Webedia sont basés sur la protection applicative du service Cloudflare : lorsqu'une requête ou une IP source est suspecte, la requête HTTP est interceptée et réclame un captcha ou est tout simplement bloquée (Erreur 1020), bloquant en conséquence le crawler de JvArchive. A partir de cette période, le crawler de JvArchive commence à rencontrer de sérieuses difficultés pour atteindre le 18-25 : on peut constater des archivages totalement aléatoires, à n'importe quelle heure de la journée, de très courte durée.
- Le 23 juillet, JvArchive est de nouveau fonctionnel aux alentours de minuit, mettant à bas les efforts de Webedia malgré leurs diverses tentatives de blocage, ainsi que l'aide d'AntoineForum - [CLOUDFLARE] Nouvelles recommandations à Webedia
- Le 24 juillet, JvArchive sort officiellement de "maintenance" et indique ouvertement que Webedia tente tant bien que mal à contrer le crawler associé au site. Une requête de soutien du site en crypto est mise en avant pour l'occasion.
- Le 25 juillet, étant pour anecdote un jour ouvrable (un lundi, signant le retour de l'équipe technique de Webedia), le crawler de JvArchive se voit à nouveau bloqué aux alentours de 9h40. Il est de retour dans la soirée vers 21h00, mettant de nouveau à mal les efforts de Webedia.
- Le 26 juillet vers 13h00, le site est de nouveau bloqué, provoquant un suspens intense.
- Depuis le 30 juillet, l'archivage semble refonctionner, les perturbations étant rares et de courte durée.
- Depuis le 6 août à 3h du matin, le service rencontre une nouvelle perturbation sérieuse, empêchant l'archivage des topics. L'archivage repris à 13h.
Fonctionnalité "voyage dans la boucle"
Le 16 août le site propose une nouvelle fonctionnalité qui permet de revoir les plus gros topics d'une journée précise, mais aussi d'une semaine ou d'un mois précis dans le passé. Cela permet de retrouver le top topic de journées importantes comme lors du décès de Risitas ou l'élection présidentielle de 2022, mais aussi d'observer l'évolution des topics au fil du temps.
La fonctionnalité affiche également les topics antérieurs à la création de JVArchive lorsque ceux-ci ont été archivés en étant uppés après la création du site.
Désaveu de Webedia
Le 24 août le topic parlant de JVArchive, sur le forum communauté, est lock par la modération. Plusieurs messages critiquant l'échec cuisant de Webedia se voient supprimés. Cet action est perçue comme un aveu de faiblesse de la part de Webedia signifiant indirectement que tous leurs efforts ont été vains et réduits à néant.
2023
- Le 20 mars, un compteur de connectés est ajouté au site.
- Le 24 septembre, un mode fic est ajouté au site. Il permet d'afficher uniquement les posts de l'auteur afin de pouvoir suivre les topics plus facilement
2024
- Le 29 novembre, JvArchive est down. Mais est restauré quelques heures plus tard.
- Le 14 décembre, le scraping est arrêté à la suite de la mise en place de fonctionnalités anti-bot avec Cloudflare, qui provoque une navigation compliquée pour certains utilisateurs. Il est rétabli le lendemain.
- Du 19 décembre au 22 décembre, suite à un nouveau changement de JVC, beaucoup de topics apparaissent avec le statut "supprimé" dans JVA malgré leurs disponibilité sur JVC. JVC renvoyant des erreurs "410 gone" sur certains navigateurs. Ça semble patché sur JVA après le 22 mais le soucis persiste sur JVC.
Perturbations en juillet 2022
Très vite après l'apparition de perturbations notables, une bannière demandant de l'aide a été publiée, incitant les développeurs à contacter les administrateurs du site afin de les aider à trouver une solution.
En effet, face aux nouvelles mesures de protection de Webedia contre le scraping , l'administration de JvArchive tente de lutter contre ce problème depuis un mois, avec un succès partiel.
Les mesures de contournement entraînant un coût financier "de plus en plus onéreux", et un travail supplémentaire, l'équipe de JvArchive a décidé de lancer un appel aux dons "pour que JvArchive continue d'exister"
Beaucoup de forumeurs pensent y voir la fin proche du site, quand pour d'autres, il ne s'agirait que d'un problème transitoire.
Il se pourrait qu'à l'avenir, Webedia en vienne à prendre d'autres mesures visant à casser le script d'archivage (HTML, paramètres de protection contre les bots etc.) tout en maintenant les autres mesures de protection, provoquant un épuisement des développeurs, une stratégie déjà utilisée par Webedia pour JV Parallèle. et qui serait probablement applicable à JvArchive.
Miroirs
JvArchive rend ses données publiques. De fait, il est possible de créer des miroirs de JvArchive. A ce jour, le seul miroir connu de JvArchive est Geevey.com.
Références
- ↑ https://www.similarweb.com/fr/website/jvarchive.com/
- ↑ https://jvarchive.com/forums/message/1193719293
- ↑ https://jvarchive.com/faq
- ↑ Le 2 janvier 2025, aucune IP associée au domaine et ce sur tout les serveurs DNS dont le cache est à jour https://www.nslookup.io/domains/jvarchive.com/dns-records/
- ↑ https://www.whatsmydns.net/domain-expiration?q=jvarchive.com
- ↑ Dernière IP vers laquelle le domaine pointait, appartient au réseau Cloudflare https://whoisfreaks.com/tools/dns/history/lookup/jvarchive.com?type=a
- ↑ https://www.jeuxvideo.com/forums/message/1232139067
- ↑ https://jvarchive.com/swagger-ui
- ↑ https://jvarchive.com/forums/message/1193719077
- ↑ https://jvarchive.com/forums/42-51-69786451-1-0-1-0-pas-moyen-de-supprimer-ses-topics-sur-jvarchive
- ↑ https://jvarchive.com/forums/42-51-69740705-2-0-1-0-on-en-talk-de-jvarchive-qui-sauvegarde-tout