Comment les publications brutes des réseaux sociaux deviennent les mesures harmonisées et comparables présentées sur ce site.
Cette page résume la méthodologie présentée en détail dans les deux articles scientifiques sur lesquels repose ce projet. Voir la page Publications pour l'article PartySOME I (Jan et Sattelmayer 2025) et l'article PartySOME II (Jan et Sattelmayer 2026), et la page Ressources mobilisées pour les infrastructures existantes (ParlGov, le Comparative Agendas Project, entre autres) sur lesquelles ce projet s'appuie. Elle se concentre sur la question qui nous est le plus souvent posée : comment les publications sont classées par enjeu.
Le point de départ est le corpus PartySOME I (Jan et Sattelmayer 2025), qui rassemble les comptes officiels sur les réseaux sociaux des partis ayant détenu au moins un siège au parlement entre 2005 et 2023. Les comptes ont été identifiés manuellement. Les publications ont ensuite été collectées à l'aide d'outils propres à chaque plateforme, qui ont changé au fil du projet à mesure que les conditions d'accès aux API évoluaient : CrowdTangle ou des API de plateformes comme la Meta Content Library. Le jeu de données ne comprend que les publications organiques des comptes des partis eux-mêmes : sur X (Twitter), par exemple, les retweets n'en font pas partie. Nous avons depuis étendu le corpus à de nouvelles plateformes comme Bluesky et Telegram, et la collecte pour TikTok est toujours en cours. Le corpus initial de PartySOME I s'arrêtait fin 2024. Ce site présente une extension et une mise à jour du corpus, qui couvre les publications jusqu'en septembre 2026.
Une abondante littérature en science politique s'intéresse aux enjeux auxquels les partis consacrent leur attention et à l'évolution de cette attention dans le temps. Elle a produit un cadre standard pour mesurer la saillance des enjeux, que notre projet applique aux publications sur les réseaux sociaux. Nous mesurons la saillance des enjeux à l'aide de la grille de codage du Comparative Agendas Project (CAP) (Baumgartner, Breunig et Grossman 2019), un cadre standardisé qui permet de comparer l'attention portée aux enjeux d'un pays et d'une source à l'autre.
Cette grille a traditionnellement été appliquée aux programmes électoraux, aux débats parlementaires ou aux projets de loi. Son application aux réseaux sociaux ne va pas de soi : une grande partie des publications des partis (annonces de campagne, affiches d'événements, contenus personnels) ne porte sur aucune politique publique, et les classifieurs CAP prêts à l'emploi tendent malgré tout à leur attribuer un enjeu de politiques publiques.
Notre chaîne de classification procède donc en deux étapes, pour tenir compte des particularités des textes publiés sur les réseaux sociaux et classer les publications dans les catégories d'enjeux du CAP.
Les publications rédigées dans des langues que l'équipe ne maîtrise pas ont été traduites automatiquement en anglais avant l'annotation, à l'aide de modèles open source de Meta et de Facebook Research (Fan et al. 2021 ; voir aussi Licht et Lind 2023). Le modèle CAP a classé chaque publication individuellement. Lorsqu'un parti n'a diffusé aucune publication thématique au cours d'un mois donné, sa saillance pour chaque enjeu a été fixée à zéro.
Comme indiqué plus haut, une grande partie des publications des partis sur les réseaux sociaux ne porte sur aucune politique publique. C'est un problème pour les classifieurs CAP prêts à l'emploi, qui tendent à attribuer un enjeu de politiques publiques à chaque publication. Ils ont en outre été entraînés sur des programmes électoraux, des débats parlementaires et des projets de loi, des textes très différents des publications sur les réseaux sociaux, par leur style comme par leur contenu.
Nous avons envisagé quatre configurations possibles de la chaîne de classification et les avons évaluées sur un échantillon de 5 362 publications codées manuellement (alpha de Krippendorff = 0,86 sur un sous-échantillon de fiabilité de 200 publications) . Les quatre configurations utilisent le même classifieur PolTextLab pour la seconde étape, mais diffèrent sur deux points : l'application préalable ou non du filtre politiques publiques / hors politiques publiques, et le recours au modèle PolTextLab prêt à l'emploi ou à une version affinée de celui-ci.
Le tableau ci-dessous présente les quatre configurations et leurs performances sur l'échantillon codé manuellement. Nous rapportons la précision, le rappel et le F1 en moyenne macro (plutôt que l'exactitude), afin de donner un poids équitable aux 21 catégories d'enjeux malgré leurs fréquences très inégales. Nos résultats montrent que c'est le modèle prêt à l'emploi que le filtre politiques publiques améliore le plus (le F1 macro passe de 0,67 à 0,75). En revanche, affiner en plus le classifieur n'améliore pas les performances. La combinaison du filtre et du modèle prêt à l'emploi obtient donc les meilleurs résultats d'ensemble ; c'est celle que nous avons retenue pour nos analyses.
| Configuration | Exactitude | Précision | Rappel | F1 |
|---|---|---|---|---|
| PolTextLab prêt à l'emploi | 0,56 | 0,65 | 0,82 | 0,67 |
| PolTextLab affiné | 0,82 | 0,71 | 0,72 | 0,71 |
| Filtre politiques publiques + PolTextLab prêt à l'emploi | 0,81 | 0,73 | 0,80 | 0,75 |
| Filtre politiques publiques + PolTextLab affiné | 0,83 | 0,72 | 0,70 | 0,70 |
Métriques en moyenne macro sur les 21 catégories d'enjeux du CAP. L'ajout du filtre politiques publiques améliore surtout le modèle prêt à l'emploi (le F1 macro passe de 0,67 à 0,75). Une fois le classifieur lui-même affiné, le filtre n'apporte plus grand-chose. La combinaison du filtre et du modèle prêt à l'emploi obtient les meilleurs résultats d'ensemble ; c'est celle que nous avons retenue pour nos analyses.
L'échantillon d'entraînement de 19 000 publications du filtre politiques publiques / hors politiques publiques a été codé manuellement selon un ensemble fixe de critères (alpha de Krippendorff = 0,90 sur un sous-échantillon codé deux fois) . Nous avons élaboré pour l'annotation la grille de codage ci-dessous, qui précise ce qui distingue une publication thématique, qui porte sur des enjeux de politiques publiques, d'une publication hors politiques publiques. La grille originale est rédigée en anglais ; les critères ci-dessous en sont notre traduction.
Ce projet classe les publications dans 21 grandes catégories thématiques (major topics) du CAP, auxquelles s'ajoute la catégorie « Hors politiques publiques » : propre à ce projet, elle regroupe les publications écartées par le filtre de la première étape et n'est pas en elle-même un thème du CAP. Ces catégories ne sont qu'une partie de la grille complète du CAP, qui définit aussi, au sein de chaque catégorie, des centaines de sous-thèmes plus fins – la liste complète des catégories et de leurs sous-thèmes figure dans le tableau plus bas dans cette section.
Les intitulés ci-dessous sont notre traduction de ceux du codebook général du Comparative Agendas Project, qui appartiennent à la communauté de recherche du CAP (Baumgartner, Breunig et Grossman 2019 ; Bevan 2019). La version en ligne du codebook général (en anglais) fait foi et en constitue la version la plus à jour.
| Catégorie | Sous-thèmes |
|---|---|
| Macroéconomie | Généralités, Taux d'intérêt, Taux de chômage, Politique monétaire, Budget de l'État, Fiscalité, Politique industrielle, Contrôle des prix, Autres |
| Droits et libertés | Généralités, Discriminations envers les minorités, Discriminations de genre, Discriminations liées à l'âge, Discriminations liées au handicap, Droit de vote, Liberté d'expression, Vie privée, Mouvements antigouvernementaux, Autres |
| Santé | Généralités, Réforme du système de santé, Assurance maladie, Industrie pharmaceutique, Établissements de santé, Organismes d'assurance santé, Responsabilité médicale, Personnel soignant, Prévention des maladies, Santé des enfants, Santé mentale, Soins de longue durée, Prise en charge et coût des médicaments, Tabagisme, Drogues et alcool, Recherche et développement, Autres |
| Agriculture | Généralités, Commerce agricole, Aides aux agriculteurs, Sécurité alimentaire, Promotion des produits alimentaires, Maladies animales et végétales, Pêche, Recherche et développement, Autres |
Pour les définitions, les sous-thèmes et les règles de codage qui font foi pour chaque catégorie, voir le codebook général du Comparative Agendas Project.
Sur la page Enjeux, il est également possible de regrouper les résultats par famille de partis. Dans la plupart des cas, ces familles suivent les classifications de ParlGov et de la Chapel Hill Expert Survey. Lorsque ces deux sources divergeaient, nous avons tranché manuellement ; dans quelques cas, nous nous sommes écartés des deux. La classification des partis d'extrême droite repose largement sur le jeu de données PopuList. Pour toute question ou remarque sur la classification d'un parti en particulier, n'hésitez pas à utiliser le formulaire de contact.
Notre article présente plusieurs tests de validité des données. Ceux qui suivent sont des vérifications descriptives, et non des tests statistiques formels. Ils posent une question simple : les familles de partis accordent-elles de l'attention aux enjeux que des décennies de recherche sur la propriété des enjeux (issue ownership) conduisent à attendre ? La propriété d'un enjeu comporte pour l'essentiel deux dimensions : une dimension de compétence et une dimension associative. La propriété de compétence signifie que les électeurs jugent un parti le plus à même de traiter un enjeu politique ; la propriété associative signifie que les électeurs associent spontanément un parti à un enjeu, indépendamment de leur jugement sur sa capacité à le traiter (Petrocik 1996 ; Walgrave, Lefevere et Tresch 2012). La théorie de la propriété des enjeux s'attend donc à ce que les partis mettent en avant les enjeux qu'ils « possèdent » sur l'une ou l'autre dimension. Conformément à cette attente, la famille d'extrême droite est, de toutes les familles de partis, celle qui accorde le plus d'attention aux enjeux « Immigration » et « Justice et criminalité ». Les partis écologistes accordent, de loin, le plus d'attention à l'« Environnement ». Les partis sociaux-démocrates et de gauche radicale accordent davantage d'attention que les autres familles à la « Macroéconomie », aux « Droits et libertés » et au « Travail et emploi » (la catégorie « Gouvernement et administration publique » est exclue de cette comparaison pour les raisons expliquées plus haut).
Instantané du 29 septembre 2026, qui n'est pas recalculé à chaque visite – voir scripts/generate-family-cap-rankings.mjs pour le mettre à jour.
Une seconde vérification descriptive consiste à examiner si l'attention portée aux enjeux évolue comme on peut s'y attendre autour de grands événements sans aucun lien avec ce jeu de données ou sa collecte. Deux cas illustratifs sont examinés ici. Le premier est l'invasion de l'Ukraine par la Russie en février 2022, après laquelle on peut raisonnablement s'attendre à une hausse de l'attention portée à l'« Énergie », à la « Défense » et aux « Affaires internationales ».
Le second est le début de la pandémie de COVID-19, au début de l'année 2020, après lequel on peut s'attendre à une forte hausse de l'attention portée à la « Santé », accompagnée d'une baisse de la part des publications sans aucun contenu de politiques publiques, les partis délaissant leurs contenus de campagne habituels au profit d'une communication liée à la pandémie.
La couverture n'est pas uniforme dans le temps. Dans les premières années du corpus, du milieu ou de la fin des années 2000 au début des années 2010 environ, relativement peu de partis avaient adopté les réseaux sociaux, les plateformes elles-mêmes élargissaient encore leur base d'utilisateurs, et les partis présents n'avaient pas encore développé les stratégies de publication professionnalisées et planifiées apparues par la suite. Concrètement, pour certains partis et certaines plateformes, des mois de cette période reposent sur une poignée de publications seulement.
Cela pose un problème précis pour l'analyse de l'attention portée aux enjeux, mesurée par des parts. Une part de publications, c'est-à-dire l'attention mensuelle qu'un parti consacre à un enjeu donné, est un ratio, et un ratio calculé sur un petit dénominateur est bruité. Une publication sur le « Commerce extérieur », par exemple, sur trois publications au total ce mois-là donne une part de 33 % – non que le parti ait soudain fait de la politique commerciale une priorité, mais parce qu'il n'y avait que trois publications au départ. Les effectifs bruts ne posent pas ce problème de la même manière, mais tout graphique de ce site exprimé en pourcentage peut être faussé par ce phénomène dans les périodes peu fournies.
Il en découle deux choix pour les graphiques du site. D'abord, chaque sélecteur de période commence par défaut en 2012 plutôt qu'au début du corpus, car c'est à partir de là que l'activité de publication devient globalement représentative pour l'ensemble des partis suivis. La période complète, y compris les premières années moins fournies, reste toujours accessible en un clic (option « Toute la période »). Ensuite, chaque graphique qui représente une part dans le temps dispose d'un réglage « Fiabilité ». « Masquer sous un N minimal » retire simplement toute période dont le nombre de publications est inférieur à un seuil que vous choisissez (10 par défaut), plutôt que d'afficher une part calculée sur trop peu de publications ; la page Enjeux propose en outre « Rapprocher de la moyenne », qui ramène les périodes peu fournies vers la part de la même série sur l'ensemble de la période sélectionnée au lieu de les supprimer. Aucun de ces réglages ne modifie les données sous-jacentes : il s'agit uniquement de choix d'affichage, pour éviter de prendre du bruit pour un signal.
Pour respecter les conditions d'utilisation des plateformes, le texte brut des publications et leur classification individuelle ne sont pas diffusés. La version publique comprend des mesures mensuelles agrégées de la saillance des enjeux par parti, ainsi que les données d'entraînement et de validation annotées manuellement qui ont servi à construire et à évaluer les classifieurs, afin que la chaîne de traitement elle-même puisse être vérifiée, reproduite ou améliorée.
Tous les détails, notamment le codebook du CAP, la liste complète des partis et les configurations exactes des modèles, figurent dans les annexes en ligne (Supplementary Material) de l'article PartySOME II (voir Publications), et les données elles-mêmes sont disponibles sur GitHub.
Baumgartner, F. R., Breunig, C., & Grossman, E. (Eds.). (2019). Comparative Policy Agendas: Theory, Tools, Data. Oxford University Press.
Bevan, S. (2019). Gone fishing, the creation of the Comparative Agendas Project master codebook. In F. R. Baumgartner, C. Breunig, & E. Grossman (Eds.), Comparative Policy Agendas: Theory, Tools, Data (pp. 17 to 34). Oxford University Press.
Fan, A., Bhosale, S., Schwenk, H., Ma, Z., El-Kishky, A., Goyal, S., Baines, M., et al. (2021). Beyond English-centric multilingual machine translation. Journal of Machine Learning Research, 22(107), 1 to 48.
Jan, M., & Sattelmayer, L. (2025). PartySOME, a comprehensive dataset on political parties' social media activity. Party Politics. Voir Publications pour la référence complète et le BibTeX.
Licht, H., & Lind, F. (2023). Going cross-lingual, a guide to multilingual text analysis. Computational Communication Research, 5(2), 1.
Petrocik, J. R. (1996). Issue ownership in presidential elections, with a 1980 case study. American Journal of Political Science, 825 to 850.
Sebők, M., Máté, Á., Ring, O., Kovács, V., & Lehoczki, R. (2025). Leveraging open large language models for multilingual policy topic classification, the Babel Machine approach. Social Science Computer Review, 43(2), 295 to 317.
Walgrave, S., Lefevere, J., & Tresch, A. (2012). The associative dimension of issue ownership. Public Opinion Quarterly, 76(4), 771 to 782.