Sondages d’opinion : attention à l’intention !

Dans le cadre de la réforme du collège, nous avons projeté de monter en 4ème un Enseignement pratique interdisciplinaire (EPI) sur l’esprit critique avec mes collègues de français et d’histoire – géographie – EMC (enseignement moral et civique). Dans ce cadre, je me suis inscrit à un stage du Plan académique de formation (PAF) dont le thème était « Médias et esprit critique » mené par Guillemette Reviron du collectif « CORTECS ». C’est lors de ce stage qu’elle m’a donné l’idée de travailler avec les élèves sur les limites des sondages d’opinion en leur faisant construire une enquête sur la qualité de la cantine avec la consigne d’utiliser tous les biais possibles dans le recueil des données – mais sans modifier a posteriori ces données – pour que les résultats viennent confirmer une conclusion fixée préalablement. À notre connaissance, ce type de séquence pédagogique n’avait jamais été testée et le résultat n’était pas garanti. J’ai assumé la « prise de risque » et me suis lancé dans la mise en œuvre de cette idée en utilisant les différentes ressources présentées pendant le stage.

Séance 1 – Introduction

Diagrammes et graphiques

Dans mon cours sur les statistiques et la production de graphiques, j’ai intégré une première heure sur la sensibilisation au fait que les graphiques ne sont pas « neutres », même lorsqu’ils sont mathématiquement justes. L’objectif de cette première séance était de les sensibiliser au fait qu’un graphique ne donne pas seulement un résultat mathématique mais qu’il laisse aussi des impressions, et que celles-ci peuvent être orientées différemment par des représentations distinctes d’un même jeu de données. Après une introduction très courte, je leur ai présenté un extrait du journal télévisé de TF1 (20 janvier 2011) où Brice Hortefeux, alors ministre de l’intérieur, présente un diagramme sur l’évolution de la délinquance.

Ensuite, j’ai mis la vidéo en pause sur l’image du ministre présentant le graphique et j’ai demandé aux élèves de me décrire ce qu’ils voyaient. Au terme de l’échange – parfois relancé par mes questions – les élèves avaient pointé plusieurs choses sur la mise en forme : il est apparu que la couleur rouge avait été choisie pour la hausse de la délinquance et le vert pour la baisse. Les élèves ont réussi à analyser que le rouge est une couleur plutôt associée à ce qui n’est « pas bien » ou « interdit » contrairement au vert. Il a aussi été noté que les nombres en vert étaient écrits plus gros pour ressortir. Mais le principal argument mathématique n’est pas venu : aucun élève n’a remarqué l’absence d’échelle sur l’axe des ordonnées (si bien que l’on ne sait pas quels sont les nombres associés à la hauteur des rectangles), nous ne disposons donc que de pourcentages sans valeurs absolues ni ordre de grandeur. Cela pose pourtant au moins deux problèmes : 1) l’augmentation ou la diminution, qui peut paraître importante en pourcentage, peut en fait concerner un nombre très faible de délits, significatif statistiquement mais pas du tout d’un point de vue sociétal ; 2) l’impression d’augmentation ou de diminution peut être faussée si l’axe des ordonnées n’est pas gradué de manière régulière (de 5 en 5 par exemple), ce que nous ne pouvons pas vérifier ici.
Tout ce travail s’est fait à l’oral, en prenant la précaution de préciser que l’objectif n’était pas d’évaluer la pertinence du fond du propos (sur lequel il y aurait par ailleurs beaucoup à dire), mais de travailler sur sa mise en forme ; je notais simplement au tableau les différentes remarques.

J’avais prévu que les élèves ne remarqueraient pas l’absence de ces informations pourtant essentielles, et pour leur faire ressentir l’importance de préciser l’échelle sur les axes, j’ai choisi d’enchaîner avec la vidéo de Nicolas Gauvrit enregistrée pour le Cortecs.

La vidéo étant un peu longue (9 minutes), j’ai surtout fait des arrêts sur images sur les premiers diagrammes présentés (évolution de la délinquance et remboursement des médicaments) ; nous n’avons pas regardé la dernière partie trop complexe pour des élèves de 4ème. Pour chaque graphique, les élèves ont détaillé à l’oral ce qu’ils voyaient et leurs impressions. Ils se sont rendu compte de l’importance des axes, de la graduation choisie et donc de l’échelle utilisée. J’ai fait le rapprochement avec le dessin ou la peinture, quand l’artiste « représente » ce qu’il voit ou ce qu’il imagine (par exemple pour le tableau « Les Ménines » vu par Velasquez ou par Picasso). Il laisse ainsi une « impression » à ceux qui viennent voir l’œuvre. Nous avons alors repris le diagramme du journal de TF1, ils ont immédiatement remarqué qu’il manquait l’échelle et la légende sur l’axe des ordonnées. Là encore, nous avons conclu qu’il manquait des informations mathématiques, que cette omission était susceptible d’orienter notre jugement et que les couleurs choisies pouvaient avoir de l’importance. Les élèves ont très bien réagi à cette première partie en étant très actifs, même les moins à l’aise en mathématiques, les questions de description étant relativement simples et accessibles à tous.

Nous avons ensuite visionné un extrait du Petit journal de Canal+ (29 novembre 2011) qui compare les graphiques de l’évolution du chômage présentés le même jour par trois journaux télévisés différents : ceux de TF1, France 2 et France 3 sur un ton humoristique.

Nous en avons retenu que pour une même information, les trois graphiques – justes mathématiquement – ne laissaient pas la même impression.

Nous avons enchaîné sur un diaporama que j’ai réalisé à partir du travail d’Alain le Métayer sur le site du Cortecs sur les diagrammes en araignée des conseils de classe. Suivant l’ordre des matières sur la toile, les impressions données par les trois diagrammes sont différentes et pourtant les valeurs mathématiques sont exactement les mêmes. Là encore, les élèves ont très bien réagi, le but étant qu’ils se posent des questions et qu’ils doutent, sans tomber dans l’excès « Tout le monde nous ment ! ». J’ai bien insisté à chaque fois sur le fait de lire attentivement les éléments mathématiques et de faire attention aux impressions éventuellement données.

Tri sélectif des données et enquêtes d’opinion : les écueils du micro-trottoir

Nous avons ensuite réfléchi à la notion d’esprit critique dans le journalisme en visionnant un dernier extrait vidéo du Petit journal de Canal + (13 juin 2013).

On voit dans cette vidéo un micro-trottoir réalisé dans une gare parisienne un jour de grève des agents de la SNCF. Dans une première partie, les clients interrogés semblent particulièrement mécontents. Dans une deuxième partie, on voit les mêmes personnes bien plus nuancées voire même compréhensives envers les agents grévistes. Cela met en avant le fait que l’on peut fabriquer un point de vue en n’utilisant qu’une partie des réponses des personnes interrogées (c’est une illustration du tri sélectif des données). Les élèves ont été aussi bien surpris que choqués et ont vraiment pris conscience qu’un micro-trottoir, fruit d’une sélection de témoignages, peut être orienté dans un sens ou dans un autre. Toujours à l’oral, nous avons essayé de trouver un intérêt à ce reportage ; nous en sommes arrivés à questionner la pertinence du lieu utilisé pour réaliser le micro-trottoir. Nous sommes parvenus à la conclusion qu’en effet, à la gare un jour de grève, il y avait de grandes chances que les personnes présentes soient essentiellement celles qui n’étaient pas au courant de la grève, ou alors celles qui n’avaient pu faire autrement pour se déplacer, donc des gens probablement mécontents dans tous les cas (deuxième tri sélectif des données). J’ai saisi cette occasion pour parler d’échantillon représentatif.

Présentation du projet

Après ces réflexions, je leur ai présenté le projet : la classe serait divisée en deux groupes pour concevoir une enquête de satisfaction sur la cantine au sein du collège. Un groupe serait chargé de « s’arranger » pour que le recueil de données conduise à conclure que les élèves du collège apprécient la cantine, tandis que l’autre devrait « s’arranger » pour conclure l’inverse en jouant uniquement sur le mode de recueil des données mais en les traitant avec rigueur. La plupart des élèves se sont montrés immédiatement très motivés et investis. La classe a été répartie en deux groupes et chaque groupe a commencé à réfléchir chez soi, pour préparer la deuxième séance, à sa stratégie.

Séance 2 – Préparation de l’enquête

Pendant cette deuxième heure, un groupe est resté avec moi et l’autre groupe est allé réfléchir avec un collègue. Le but pour chaque groupe était de trouver les moyens d’arriver à sa fin. Nous avons réuni les deux groupes pour une mise en commun pour les dix dernières minutes. Il a été très intéressant de constater que les deux groupes ont choisi la même question : « qu’as-tu pensé du repas de la cantine aujourd’hui ? » (De son côté, le professeur de français travaillait avec les élèves sur les différentes façons de poser une même question mais pouvant aboutir à des réponses différentes pour une même personne interrogée).
Chaque groupe a décidé de proposer des réponses au choix (nous avions déjà vu dans un exercice qu’il pouvait être difficile pour le dépouillement de laisser les gens répondre ce qu’ils voulaient). Le groupe ayant pour mission d’obtenir une réponse positive a opté pour trois réponses au choix : 1 – Très Satisfaisant ; 2 – Plutôt  satisfaisant ; 3 – Pas du tout satisfaisant. L’autre groupe a choisi quatre réponse au choix : 1 – Excellent ; 2 – Satisfaisant ; 3 – Plutôt pas satisfaisant ; 4 – Pas du tout satisfaisant.
Pour le groupe dont j’ai eu la charge, je les ai laissé réfléchir entre eux sans intervenir pendant 10 minutes puis j’ai lancé quelques questions afin d’arriver à ce résultat. Comme leur but était de récupérer dans sa partie les personnes répondant plutôt au milieu (dans le plus ou le moins suivant le cas), la question s’est alors posée de savoir : qui interroger, où, et comment choisir les personnes interrogées ? Très rapidement la question du menu est arrivée – est-il prévu des épinards ou des frites ? Ensuite un élève a proposé d’interroger les élèves à la sortie du self à côté du tapis roulant où l’on dépose les plateaux : on ciblerait, suivant le groupe, les élèves dont le plateau déposé serait vide ou plein. Pour des questions d’organisation, je leur ai dit qu’ils ne pouvaient pas être plus de trois par jour à questionner leurs camarades. Enfin, le collège comptant 800 élèves, il a été décidé que chaque élève devait en interroger au moins 8 pour avoir environ 100 résultats pour chacune des deux versions de l’enquête. Afin d’être sûr de toucher un peu tous les élèves du collège, une deuxième question sur le niveau de l’élève a été ajoutée.

Séance 3 – Enquête et dépouillement

L’heure suivante, j’avais préparé dix questionnaires pour chacun (tous sur une même page pour des questions pratiques) et apporté les menus du mois suivant. Les élèves se sont alors répartis par groupe de 2 ou 3 sur les jours où ils allaient poser les questions en fonction des plats (la désignation des « bons » et des « mauvais » menus s’est faite sur des bases entièrement subjectives). Le recueil des données a duré un mois. Six élèves n’ont pas fait passer l’enquête par oubli ou par manque d’envie ou encore par timidité. À l’issue de cette collecte, trois élèves de chaque groupe ont dépouillé les réponses obtenues. Les tableaux avec les résultats ont été distribués à chacun (en fonction de son groupe de départ) et chaque élève a pu réaliser, grâce à l’assistant graphique du tableur, un diagramme circulaire avec les résultats obtenus. Et quels résultats ! Chaque groupe a en effet parfaitement réussi à obtenir les résultats attendus dès le départ. Un élève a aussi proposé de mettre en vert les réponses « positives » et en rouge les réponses « négatives » afin de voir le contraste entre les deux diagrammes. Nous avions donc une enquête sur la cantine rigoureuse sur le plan mathématique mais qui donnait deux résultats complètement différents.

 

Bilan

De façon générale sur l’ensemble du projet, les élèves ont été très motivés pour participer et le fait de pouvoir « manipuler » des résultats leur a beaucoup plu. Nous avons bien sûr aussi parlé du fait qu’ils pouvaient du coup, eux aussi être manipulés, malgré l’utilisation des mathématiques. Il nous a manqué du temps en fin d’année pour réaliser un panneau d’affichage avec les deux représentations graphiques sur la même page, mais c’est en projet pour cette année : même si les élèves sont en 3°. Cet esprit critique sur les statistiques me paraissant important, j’ai maintenant intégré à mon chapitre sur les statistiques la première heure de cours de ce projet (avec les vidéos) avec une trace écrite en plus.

Fabien Tessereau