Mory-Fodé CisséExpert IA @Iroh Squads, Sensei @Nocode Iroh Academy. Je créé une armée d’assistants au service de ton business.
Table of Contents
Do not index
Do not index
Discord ne fournit malheureusement pas de moyen directs d’exporter tous les messages de son serveur…
Il y a bien des extensions Chrome qui permettent de le faire salon par salon, mais elles reposent sur l’utilisation massive de l’API secrète de Discord :
Les détections anti-scraping de Discord étant sensibles et ce particulièrement depuis 2024 (cf le lien ci-dessous)
Il faut avoir accès à un bot plug sur le serveur pour ne pas risquer de se faire bannir son compte.
Si c’est ton cas je te recommande fortement DiscordChatExporter qui pourra en plus te débloquer rapidement une visualisation très quali de la donnée :
Mais si tu n’as pas accès à un bot du serveur, n’aies crainte : j’ai dégainé Automa et ai concocté pour toi un workflow des familles pour tout extraire en un clic, audio, images, vidéos et même sondages compris.
Comment fonctionne les workflows ?
L’idée est d’imiter le comportement d’un utilisateur humain (scroll, temps d’attente variable entre les actions, survol d’un élément avant de cliquer dessus etc…) et de le faire depuis le navigateur de sa machine local (un script exécuté dans le cloud peut être plus facilement détecté par les procédures anti-scraping).
Récupération des salons
On scrolle dans la barre de navigation des salons 1 à 1 pour récupérer les noms, groupes et URL de chaque salons que l’on va scraper et on rassemble ces infos dans une liste
Scraping des salons par paquet
Notre workflow va ensuite parcourir chaque salons dans notre liste un par un, tout en veillant à ne pas trop en faire d’un coup, pour 2 raisons :
- Pour imiter un humain, on évite d’effectuer le même type d’actions en boucle pendant 3h sans pauses
- Si on a pas de double écran, le workflow ne tournera pas bien (ou pas du tout) en arrière plan et nous privera de notre ordi le temps du scraping (qui peut-être très long !)
Chaque salon visité est retiré de la liste et ajouté dans une table d’archive afin de conserver une trace de ce qui a déjà été scrapé.
Distinction sur chaque salon
Sur Discord, il y a 2 types de salons :
- Chat : un historique de message classique, on scroll vers le haut jusqu’à atteindre le début des messages, ou une limite de dates d’anciennetés ou de nombre de scroll ou message maximum
- Forum : les messages sont rassemblés en topic de discussion. On clique sur chaque topic pour afficher le chat, scroller vers le bas jusqu’à la fin des messages puis passer au suivant
Export en plusieurs fichiers
Il s’avère que stocker trop de données en variable globale ou en storage table est très éprouvant pour Automa… Et fasse au nombre parfois gigantesque de messages à récupérer, il a fallu exporter les résultats du scraping chat par chat pour les récupérer sans lags.
On se chargera dans la prochaine étape de nettoyage de les rassembler en un gros fichier qu’on retravaillera.
1. Installe l’extension Automa
C’est tout simplement l’outil ultime pour automatiser ton navigateur, le n8n du scraping local :
- 100% gratuit et open source
- Nocode mais hyper puissant (c’est simple on peut TOUT faire avec)
- Permet d’importer / exporter ses workflows en un clic
- Grouper et transformer ses workflows en une extension à part entière 🤯
Pas besoin de s’inscrire / se connecter, tu télécharges juste l’extension Chrome ou Firefox et c’est parti
Tu risques de voir ce message au moment de télécharger l’extension :
Cela signifie juste que l’extension n’a pas été mise à jour depuis un moment (7 mois à l’heure où je rédige)
N’aies crainte, je l’utilise depuis des années sans aucun problème, et le code étant open-source je pourrais même faire les mises à jour moi-même si nécessaire 😌
2. Import mes workflows en 1 clic
Télécharge les fichiers JSON ci-dessous :
- Le workflow pour récupérer la liste des salons à scraper
Pour télécharger le workflow il faut enregistrer la page depuis son navigateur une fois le lien cliqué
- Le workflow pour scraper les salons packets par packets
Ensuite rend toi dans le Dashboard Automa pour les importer un par un !
Les workflows Automa qui tournent longtemps ont tendance à faire lagger le navigateur : c’est à cause des logs qui deviennent trop lourds !
Pour régler le problème désactive leur sauvegarde dans les paramètres :
3. Créer une Storage Table
Pour archiver les salons traités, on va avoir besoin d’une petite Table de données : direction l’onglet Storage !
- Clique sur Add table
- Nomme la table discord_channel_archive, et ajoute chacune des colonnes suivantes avec le bon type à chaque fois. Puis clique sur Save.
Le nom des colonnes doit être identique à celui présenté ci-dessous
4. Connecter les workflow à la Storage table
- Rends toi dans le workflow Scrape messages listed discord channel pour le connecter à cette Table
- Puismodifie le block Insert data pour lier les bonnes colonnes
L’ordre des colonnes ci-dessous doit bien être le même
5. Lance les workflows
- Rends toi sur le serveur Discord à scraper. Puis ouvre le workflow Automa dans un autre onglet et lance le pour récupérer la liste des serveurs.
- Vérifie le résultat dans le Storage, global variable discord_servers
- Aller dans le workflow Scrape messages listed discord channel, puis lancer le workflow. Ensuite il suffit regarder le workflow faire défiler les salons un par un, et de le stopper entre 2 salons toutes les 2-3h.
J’aime bien garder un oeil sur l’exécution en la lançant depuis mon 2ème écran.
En plus j’ai remarqué que réduire la fenêtre empêche parfois le bon déroulement du workflow, donc le 2ème est nécessaire pour pouvoir continuer à travailler sur autre chose pendant que le workflow tourne.
Le gros point négatif de cette approche Automa, c’est que des mises à jours de Linkedin peuvent casser les workflows…
Ça demandait une maintenance régulière pour assurer leur bon fonctionnement, mais désormais l’IA peut s’en charger !
Je prévois de créer un agent IA chargé de mettre à jour les workflows, et de les mettre à disposition dans une extension Chrome à part (histoire de ne pas avoir à refaire toute la manip à chaque fois !)
Pour ne pas rater la sortie de l’extension Chrome clé en main gratuite, abonne toi à la newsletter si ce n’est déjà fait :
La partie 2. Nettoyer un fichier JSON massif pour en tirer les meilleurs insights arrive bientôt sur le blog, stay tuned ;)
Written by
Mory-Fodé Cissé
Expert IA @Iroh Squads, Sensei @Nocode Iroh Academy. Je créé une armée d’assistants au service de ton business.
