« JvArchive » : différence entre les versions
archives publiques
Aucun résumé des modifications |
user: b711a79 (?) (archives publiques) |
||
| Ligne 98 : | Ligne 98 : | ||
Il se pourrait qu'à l'avenir, [[Webedia]] en vienne à prendre d'autres mesures visant à casser le script d'archivage (HTML, paramètres de protection contre les bots etc.) tout en maintenant les autres mesures de protection, provoquant un épuisement des développeurs, une stratégie déjà utilisée par Webedia pour [[JV Parallele|JV Parallèle.]] et qui serait probablement applicable à JvArchive. | Il se pourrait qu'à l'avenir, [[Webedia]] en vienne à prendre d'autres mesures visant à casser le script d'archivage (HTML, paramètres de protection contre les bots etc.) tout en maintenant les autres mesures de protection, provoquant un épuisement des développeurs, une stratégie déjà utilisée par Webedia pour [[JV Parallele|JV Parallèle.]] et qui serait probablement applicable à JvArchive. | ||
== Archives publiques == | |||
JvArchive propose des archives complètes du 18-25 comprenant l'intégralité des messages depuis le début de Respawn (donc aux alentours de 2014). On y obtient également les topics, des flags qui indiquent si les topics ont été supprimés ou non par l'auteur ou la modération, et on a également une liste de pseudos avec leur ID associé. | |||
Il est possible d'importer les archives en question dans une base PostgreSQL afin de pouvoir les traiter comme désiré. | |||
Les archives étant au format CSV, elles peuvent être importées dans des tables avec la fonction COPY de PostgreSQL. | |||
Voici un schéma facilement compatible avec les dumps JvArchive : https://pastebin.com/EzNgjqKG | |||
Notez que les dumps étants lourds (environ 50 Go de messages à traiter), il est recommandé d'utiliser au maximum des index et le tout sur une machine haute performance côté disque (de préférence un RAID de disques SAS, ou du NVMe). | |||
À ce jour, les dumps ne sont plus mis à jour. JvArchive semble être abandonné, les derniers dumps datent de juin 2024, et les anciens dumps ont été DMCA par Webedia. | |||
A noter qu'il est inutile d'importer chaque dump pour obtenir l'intégralité des messages du 18-25. Le dernier dump datant de juin 2024, comprend l'intégralité des messages. | |||
== Liens externes == | == Liens externes == | ||