Soutenance mémoire
Pertinence des nouveaux domaines : littératie et numératie
Discussion
La présente étude permet l‘avancement des connaissances par l’exploration des qualités psychométriques sur le plan de la fidélité et de la validité de contenu des nouveaux domaines : littératie et numératie de l’AEPS®/EIS. Les résultats sont discutés en fonction des questions de recherche. Les principaux résultats sont mis en relation avec la documentation scientifique sur le sujet. Les retombées possibles sont décrites ainsi que les forces et les limites de l‘étude.Volet fidélité (accord interjuges)
Tout d‘abord, il faut préciser que la discussion des résultats à l’aide des études antérieures (Hsia, 1993; Macy et al., 2005; Noh, 2005) est réalisée en regard des domaines cognitif et de la communication. Les domaines de la littératie et de la numératie sont présentement en élaboration et ils sont inexistants dans les versions antérieures de l’AEPS®/EIS. Le choix de ces domaines s’explique, entre autres, par le fait que la majorité des items de la littératie et de la numératie se retrouvent intégralement ou en partie à l’intérieur du domaine cognitif des éditions précédentes de l’AEPS®/EIS. De plus, les domaines cognitifs et de la communication sont ceux qui mesurent le plus l‘émergence de la littératie et les pré-mathématiques, tel que mentionné par Gao et Grisham-Brown (2011). Pour ces raisons, il est permis de comparer les résultats de la présente étude à ceux Hsia (1993), de Macy et al. (2005) et de Noh (2005) reliés à ces domaines.Degré d’accord global La première question de recherche est: quel est le degré d’accord interjuges entre deux évaluateurs utilisant les grilles d’évaluation de la littératie et de la numératie de l’AEPS®/EIS? Les résultats indiquent un accord global, tous domaines confondus,pouvant être qualifié de substantiel. Les résultats montrent également un degré d’accord excellent entre deux évaluateurs comparativement à des accords substantiels pour les deux autres pairages. Cet accord excellent peut s’expliquer par le fait que les deux évaluateurs concernés possèdent plusieurs années d’expérience en évaluation du développement de l’enfant comparativement au troisième évaluateur dont l’expérience est moindre.
Essentiellement, les résultats tendent à montrer que les grilles d’évaluation des nouveaux domaines de l’AEPS®/EIS permettent à plusieurs évaluateurs de mesurer avec un degré d’accord substantiel les habiletés en littératie et en numératie chez des enfants âgés de quatre à six ans présentant un développement typique ou atypique. Les résultats de la présente étude sont semblables à ceux de Noh (2005) sur la fidélité de l’AEPS®, à savoir des degrés d’accord substantiels tels que défini par Emam (1999). Toutefois, des niveaux d’accords supérieurs sont présents dans deux autres études sur les qualités psychométriques de l’AEPS (Hsia, 1993; Macy et al., 2005). Les résultats de Macy etal.(2005) montrent des Kappas qui dénotent des degrés d‘accord excellents. Hsia (1993) arrive à des pourcentages d’accord qui indiquent également un accord excellent entre les évaluateurs.
Littératie et numératie
La seconde question de recherche vise à mesurer le degré d’accord interjuges entre deux évaluateurs pour chacun des domaines : littératie et numératie. Les résultats indiquent pour le domaine de la littératie, un degré d’accord excellent et plus élevé que celui de la numératie dont le degré d’accord est substantiel. La différence entre deux domaines quant au degré d’accord peut s’expliquer par un manque de précision et de clarté dans la formulation de certains buts ou critères d’un des domaines (Noh, 2005), dans le cas présent, la numératie.Par ailleurs, les degrés d’accord pour chacun des domaines, littératie et numératie, sont supérieurs à ceux de Noh (2005). Ces résultats plus élevés peuvent s’expliquer par la différence de taille entre les échantillons (N = 32) pour la présente étude et (N = 15) pour celle de Noh (2005). De plus, la formation des évaluateurs à l’utilisation de l’AEPS®/EIS peut avoir permis une compréhension commune de l’outil,ce qui pourrait aussi expliquer les résultats supérieurs. D’ailleurs, Noh (2005) explique les degrés d’accord plus faibles dans ses résultats par le manque de formation des évaluateurs. Enfin, l’utilisation de deux caméras permettant de visualiser les performances de près et de loin pourrait aussi avoir facilité la cotation.
Cependant, les résultats de Macy et al. (2005) montrent des accords excellents pour les domaines cognitif et de la communication. Ces niveaux d’accords sont plus élevés que les résultats de la présente étude pour chacun des domaines, littératie et numératie. Des niveaux d’accords très élevés sont également présents dans les résultats de Hsia (1993), pour le domaine cognitif et celui de la communication. Plusieurs éléments peuvent venir expliquer les niveaux d’accord plus faibles de la présente étude.
Premièrement, les degrés d’accord de l’étude de Hsia (1993) sont calculés à l’aide de pourcentage. Le pourcentage d’accord par chance n’est pas considéré, comparativement à l’indice statistique de Kappa, ce qui peut expliquer en partie les degrés d’accord plus élevés. Deuxièmement, il faut prendre en compte l’utilisation d’une cotation à deux catégories: réussi ou échouée de l’étude de Hsia (1993). Une cotation à trois catégories, comme dans la présente étude, vient augmenter les risques de désaccord entre les évaluateurs (Noh, 2005). Finalell.1ent, il est important de prendre en considération que l’outil est en cours d’élaboration, contrairement aux versions de l’AEPS utilisées dans les études antérieures.
Typique et atypique
La troisième question de recherche est la suivante: quel est le degré d’accord interjuges entre deux évaluateurs pour chacun des groupes: typique et atypique? Les résultats montrent un accord substantiel pour le groupe d’enfants présentant un développement typique ainsi que pour le groupe d’enfants présentant un développement atypique bien que le degré d’accord pour ce dernier soit un peu plus élevé. Ce niveau d’accord plus élevé est également présent dans les résultats de Noh (2005). Il suggère que les enfants présentant un développement atypique possèdent un éventail d’habiletés plus restreint, moins complexe, donc plus facile à observer.Buts des domaines de la littératie et de la numératie La dernière question du volet fidélité est: quel est le degré d’accord interjuges entre deux évaluateurs pour chacun des buts liés aux domaines: littératie et numératie?
Pour le domaine de la littératie, les résultats indiquent pour six des onze buts, Al, A2, BI, B2, C2 et E2, un degré d’accord excellent. Les buts Dl, D2 présentent des accords substantiels, les buts B3 et Cl, des accords modérés. Un seul accord est faible en lien avec le but El. En ce qui concerne la numératie, les résultats montrent un degré d’accord excellent pour trois des dix buts, A3, A5 et A6. Quatre buts montrent un niveau d’accord substantiel Al, A2, A4 et B2. Des accords modérés sont présents pour les buts BI et C2et un résultat est non significatif pour le but Cl.De façon générale, pour les deux domaines, les degrés d’accord élevés peuvent être attribués à la mesurabilité et à l’observabilité des buts, une force reconnue de l’AEPS (Slentz, 2008). La clarté et la précision des buts et de leurs critères peuvent également expliquer des niveaux d’accords supérieurs (Hsia, 1993; Noh, 2005). De plus,l’atteinte d’un degré d’accord de 80 % entre les évaluateurs lors de la pré-expérimentation, tel que recommandé dans Bachelor et Joshi (1986) a probablement permis une compréhension commune des buts et de leurs critères, ce qui pourrait aussi expliquer les accords excellents ou substantiels.
Par ailleurs, lors de la pré-expérimentation, les évaluateurs se sont entendus pour préciser certains critères. Ces précisions ont possiblement permis davantage de constance entre les cotations des évaluateurs, entre autres pour le but BI du domaine dela littératie «Identifie les mots qui riment» et le but Al du domaine de la numératie «De mémoire récite un à un les nombres de 1 à 30 ».
À l’inverse, l’absence de critères précis permettant de définir une performance en émergence pourrait être en lien avec les accords plus faibles de la présente étude. D’ailleurs, Noh (2005) explique que l’absence de critères clairs rend la cotation plus subjective, ce qui peut augmenter les désaccords.
Littératie
De façon plus détaillée, les résultats de certains buts du domaine de la littératie sont discutés et mis en relation avec la documentation scientifique. D‘abord, le degré d’accord le plus élevé de l’étude relève du but Al «Participe à la lecture partagée avec un adulte ou un enfant plus âgé ». Tel que le mentionne Noh (2005), un degré d’accord élevé peut s’expliquer par le fait qu‘un but est facile à évaluer vu sa simplicité. Il faut savoir que l’habileté de participation à une lecture partagée fait partie du répertoire développemental des enfants de la naissance à trois ans (Bricker, 2006). Les participants de l’étude ont plus de quatre ans et maîtrisent presque tous cette habileté, simple pour eux. Par conséquent, la cotation serait plus facile pour les évaluateurs et pourrait expliquer ce résultat.Le but BI «Identifie les mots qUI riment» présente également un accord excellent. L’exemple concret associé à ce but qui est: «Lesquels de ces mots riment? » «Chat…chien…rat »peut avoir aidé à la compréhension du but. Le but apparaît clair et précis, ce qui pourrait avoir influencé positivement l’accord entre les évaluateurs comme le mentionne Hsia (1993). Un autre accord excellent est celui du but B2 « Segmente des mots de deux et trois syllabes ». Cet accord élevé est peut-être relié à une façon de faire lors de la collecte de données. À savoir que pour s’assurer de la compréhension des enfants, la personne qui anime le scénario d’activités donne un exemple de segmentation en tapant des mains à chaque syllabe. Les enfants refont ce geste de taper des mains lorsqu’ils segmentent un mot, l’habileté est alors facilement observable, ce qui aiderait peut-être à assurer la constance des évaluations. Par ailleurs, scander les syllabes est l’habileté la plus simple de la séquence développementale de la conscience phonologique, selon Giasson et Vandecasteele (2012). En ce qui concerne l’accord modéré but B3 «Segmente des mots consonnevoyelle-consonne CVC » , il faut savoir que la segmentation d’un mot en phonème est une habileté qui s’acquière en première année du primaire (Hawken, 2009). Seulement quatre enfants de l’échantillon sont en première année; en conséquence, un nombre très restreint d’enfants maîtrisent cette habileté. Ainsi, les évaluateurs ont dû coter ce but, performance en émergence, pour un plus grand nombre d’enfants. Étant donné l’absence de critères clairs pour délimiter la performance en émergence de ce but autre que les règles de cotation générale, le risque de désaccord était plus élevé et pourrait être une explication de ce résultat modéré.
Quant au but Cl «Nomme toutes les lettres en majuscule et en minuscule» qui obtient également un degré d’accord modéré, il est pertinent de rappeler certaines règles de cotation de la troisième version de l’AEPS@/EIS, afin d’expliquer ce résultat. Une des règles est qu’une habileté est cotée en émergence, si l‘enfant reçoit de l’aide. Une autre règle est que l’habileté est considérée comme maîtrisée si l’enfant réussit après une deuxième chance sans 1’aide de l’adulte (Bricker, 2012). Il faut également savoir que lors de l’expérimentation, certains enfants ne font qu’une ou deux erreurs en inversant les lettres b et d. La personne qui anime le scénario d’activités mentionne alors la faute, dit la bonne réponse et présente la lettre une deuxième fois. En regard des règles de cotation, les évaluateurs ont pu voir une forme d’aide ou une deuxième chance. Cette possible confusion peut avoir amené des désaccords et pourrait expliquer le résultat. De plus, l’absence de critères précis peut aussi expliquer un résultat faible (Noh, 2005).
Dans le cas présent, cela s’illustre par l’absence de limite inférieure et supérieure dans le nombre de lettres à reconnaître pouvant baliser la cotation: (0) aucune performance et (1) performance émergente. Par exemple, lorsqu’un enfant reconnaît une seule lettre, un évaluateur peut juger qu’il n’y pas de performance et un autre que la performance est en émergence.
En ce qui concerne le but El «Écrit des semblants de lettre », la constance des observations entre les évaluateurs est faible. Deux éléments peuvent aider à comprendre ce résultat. Premièrement, l’exemple associé à ce but montre un dessin de semblants de lettre (voir Appendice D) pouvant représenter une performance maîtrisée. Cet exemple ne montre pas de dessin pour une performance émergente ou pour l’absence de performance. Pourtant, de telles représentations graphiques pouvant servir à baliser l’évolution de l‘écriture sont présentées dans Giasson (2003). Lorsque les évaluateurs réalisent les cotations de façon subjective, les risques de désaccord sont plus grands (Hsia, 1993), ce qui pourrait expliquer l’accord faible.Deuxièmement,l’absence d’activité dédiée à l’évaluation de ce but lors de l’expérimentation est peut-être une raison des nombreux désaccords. Lors de l’expérimentation, le but El est évalué lorsque l’enfant copie ou écrit des mots, dans un jeu qui vise à reproduire une affiche de magasin scolaire, une activité visant à évaluer le but E2 «Écrit ou copie des mots en utilisant l’orthographe conventionnelle ou inventée ».Des activités comme écrire une carte d’anniversaire ou un journal scolaire telle que présentées dans Notari-Syverson et al., (2007) auraient pu permettre de mieux observer les critères du but E2 qui sont:L’enfant utilise un instrument servant à écrire pour de~siner les formes qUi ressemblent à des lettres ou des mots, en commençant par le haut de la page, puis en sedéplaçant vers le bas, de gauche à droite comme sur une ligne (Bricker, 2013).
Numératie
En ce qui concerne le domaine de la numératie, les résultats montrent des accords excellents pour les buts suivants: A3 «Démontre qu’il comprend les caractères numériques », A5 « Compte jusqu’à un nombre donné ou au-delà» et A6 « Résout des problèmes impliquant des nombres en comptant ou en comptant en rebours pour des sommes allant jusqu’à 20 ». Ces résultats sont possiblement attribuables au fait que ces buts et leurs critères sont simples, observables et mesurables donc, faciles à coter. Des effets similaires semblent présents dans les travaux de Noh (2005) et de (Hsia, 1993). Plus spécifiquement pour le but A3, il est possible que l’activité utilisée pour évaluer cette habileté entre en ligne de compte pour le degré d’accord élevé. À savoir, l’animateur présente une feuille avec des lettres et des chiffres et demande à l’enfant ce qu’il voit. Cette activité simple a permis aux évaluateurs de voir rapidement si l’enfant distingue correctement les chiffres des lettres d’où possiblement le grand nombre d’accords.Quant au but A5 il présente le degré d’accord le plus élevé du domaine de la numératie. Comme dans les études de Hsia (1993) et de Noh (2005), la clarté et lapréci~ion dans la description du but semblent également expliquer ce résultat. En ce sens, le but A5 est bien illustré par l’exemple: l’enseignant dit ou indique «Donne-m’en8 » et l’enfant en compte 8. Lors de la collecte, cet exemple a été reproduit lors des jeux avec différents objets communs: «Donne-moi 8 blocs de bois ». Il semble possible de supposer que pour les évaluateurs, le lien entre l’expérimentation et la grille d’évaluation est très clair, ce qui pourrait aussi expliquer le degré d’accord élevé.
Toutefois, des accords modérés sont présents pour les buts, BI «Compare des ensembles d’items en comptant» et C2 «Démontre une compréhension de l’orientation spatiale en créant des cartes, des diagrammes, et des représentations visuelles ». Ces résultats pourraient s’expliquer en partie par des critères mal défmis. Tel que le soulignent Hsia (1993) et Noh (2005), l’absence de critères clairs et une formulation large des buts obligent l’évaluateur à un jugement subjectif, ce qui peut expliquer un plus grand nombre de divergences dans les cotations. D’ailleurs, pour le but BI, aucune indication quant à la taille des groupes à comparer n’est disponible dans la description donc, la clarté des critères semble discutable. Quant au but C2 en regard des critères, le nombre d’éléments de localisation que l’enfant doit incorporer dans son dessin pour que l‘habileté soit maîtrisée n’est pas spécifié.
Toujours pour le but C2, le fait que les enfants dessinent une carte représentant le chemin pour se rendre à leur maison ou dans leur classe, des lieux inconnus pour deux des trois évaluateurs, ajoute à la difficulté de cotation ce qui pourrait être une autre explication du degré d‘accord modéré. Des buts difficiles à coter amèneraient plus de désaccords donc, des degrés d’accord plus faible (Hsia, 1993). Par ailleurs, certains auteurs (Sarama & Clements, 2009) associent l’habileté de créer des cartes, des diagrammes à un âge chronologique de sept ans. D’ailleurs, dans la présente étude, cette performance est la moins maîtrisée chez les enfants. Tel que discuté dans Hsia (1993), les buts qui nécessitent des habiletés cognitives plus avancées semblent également présenter des degrés plus faibles d’accord.Finalement, un résultat non significatif concerne le but Cl «Comprends et utilise des mots reliés à la direction et la distance ». Ce résultat non significatif pourrait peut-être s’expliquer par une difficulté à réaliser la cotation, dû à la complexité de ce but et de son critère qui est : L’enfant répond à des questions, fait des commentaires, suit des consignes ou répond en utilisant des mots reliés à la direction (ex. : dessus, dessous, sur, sous, de ce côté, gauche, droite) ou à la distance (ex. : près, loin). (Bricker, 2013)Il est possible de voir à la lecture du critère que plusieurs habiletés sont évaluées,à savoir: répondre à des questions, faire des commentaires, suivre des consignes. En plus, ces habiletés sont associées à deux notions, la distance et la direction. Il faut savoir que dans la trajectoire d’apprentissage des prémathématiques (Sarama & Clements,2009), l’acquisition de ces habiletés et notions suit une séquence développementale qui s’échelonne de deux à six ans. À titre d’exemple, l’utilisation des notions «sous », « sur» est associé aux enfants de trois à quatre ans tandis que l’apprentissage des notions «droite » et «gauche» se fait vers cinq ans pour une utilisation vers six ans (Sarama & Clements, 2009). Comme ce but semble couvrir à lui seul plusieurs habiletés dont l’acquisition se ferait sur plusieurs années, cela pourrait être en lien avec ce résultat non significatif. Autrement dit, est-ce que le but et ses critères comportent un trop grand nombre d’habiletés et de notions rendant la constance des évaluations impossible?
Par ailleurs, le fait que le scénario d’activité de la présente étude soit dispensé dans.un temps et un espace donnés pourrait aussi être en cause dans l’absence d’accord significatif du but Cl. Sarama et Clements (2009) soulignent que pour développer les habiletés reliées aux principes de distance et de direction, il faut explorer et discuter les espaces intérieurs et extérieurs, par exemple : se balader en auto ou à pied en utilisant les termes gauche ou droite. Comme le mentionnent Gao et Grisham-Brown (2011), des habiletés évaluées en dehors d’un contexte naturel peuvent amener l’enfant à ne pas répondre ou à donner des réponses qui ne reflètent pas ces habiletés réelles. Bien que l’expérimentation se déroule dans un milieu connu de l’enfant (sa classe, sa maison), il demeure que ce n’est pas comme une ballade au parc ou en auto. Par conséquent, l’évaluation de ce but, en dehors d’un contexte naturel, pourrait aussi expliquer le résultat. Volet validité de contenu Les résultats du domaine de la numératie ne sont pas discutés considérant qu’un seul expert a rempli cette partie du questionnaire, et ce, pour l’ensemble des aspects de la validité de contenu.
Pertinence des items
La cinquième question de recherche est: est-ce que les items sont pertinents pour le domaine de la littératie? Tout d’abord, selon les experts, les niveaux «Concept de l’écrit imprimé », «Conscience phonologique », «Connaissance de l’alphabet », « Vocabulaire et compréhension» et « Écriture » sont appropriés pour le domaine de la littératie. Ces niveaux correspondent à ceux trouvés dans la théorie (Giasson, 2003; Giasson & Vandecasteele, 2012; Notari-Syverson et al., 2007).
Les résultats montrent aussi que les items des niveaux «Conscience phonologique », «Connaissances de l’alphabet» et «Écriture» sont pertinents. Par contre, certains commentaires d’experts ciblent l’objectif «Participe à un jeu verbal répétitif avec les adultes et/ou les autres enfants» et le but B3 «Segmente des mots consonnes-voyelle-consonne (CVC) en sons» comme non pertinents pour le niveau« Conscience phonologique ». Les commentaires des experts n’appuient pas les écrits scientifiques. Selon Notari-Syverson et al. (2007), les comptines permettent à l’enfant de se familiariser aux sons dans les mots; elles font partie du développement de la conscience phonologique. De plus, la documentation scientifique (Dufour-Martel, Good,& Kaminski, 2010; Hawken, 2009; Notari-Syverson et al., 2007) associe l’habileté de manipulation des phonèmes, le but B3, à la conscience phonologique.
Par ailleurs, les résultats indiquent des opinions partagées quant à la pertinence des buts et des objectifs du niveau «Concepts de l’écrit imprimé ». Selon les commentaires des experts, les buts, AI «Participe au groupe de lecture partagée» et A2 «Démontre une compréhension qu’un texte se lit dans un sens, et de haut en bas de la page» ne correspondent pas au niveau «Concepts de l’écrit imprimé ». Ce résultat va dans le sens de la théorie. Dufour-Martel, Good et Kaminski (2010) associent les habiletés de lecture partagée du but AI telles que prédire la suite de l’histoire, répondre et poser des questions, à la compréhension en lecture. En ce qui concerne le but A2,Giasson et Vandecasteele (2012) ainsi que Notary-Syverson et al. (2007) le jugent pertinent pour une composante de l’émergence de la littératie qui s’appelle «clarté cognitive ». La « clarté cognitive» se compose entre autres des conventions en lecture et en écriture; par exemple, savoir dans quelle direction il faut lire (Giasson & Vandecasteele, 2012). Mais encore, certains résultats montrent que les buts et objectifs du niveau «Concepts de l’écrit imprimé» sont pertinents, ce qui corrobore aussi la théorie (Hawken, 2009). En ce sens, Hawken (2009) relie la connaissance qu’un texte se lit de haut en bas et de gauche à droite à la composante «Concepts liés àl’écrit/conscience de l’écrit ». Il est possible de constater qu’en fonction des auteurs, le but A2 relève soit des conventions en lecture et en écriture, soit des concepts de l’écrit ce qui peut expliquer les résultats divergents
|
Table des matières
Liste des tableaux
Remerciements
Introduction
Contexte théorique
Tests conventionnels
Évaluation authentique
Assessment, Evaluatio. Programming, System for infants and Children (AEPS®)
(Bricker, 2002)
Qualités psychométriques
Fidélité
Validité
Utilité
Littératie et numératie
Littératie
Émergence de la littératie
Numératie
Émergence de la numératie
Pertinence des nouveaux domaines : littératie et numératie
But de l’étude
Questions de recherche
Méthode
Participants
Volet fidélité (accord interjuges)
Volet validité de contenu
Instruments de mesure
Grille d’évaluation
Questionnaire
Déroulement
Volet fidélité (accord interjuges)
Recrutement
Pré-expérimentation
Collecte de données
Cotation
Volet validité de contenu
Recrutement
Collecte de données
Résultats
Volet fidélité (accord interjuges)
Volet validité de contenu
Volet fidélité (accord interjuges)
Volet validité de contenu
Pertinence
Fonctionnalité
Représentativité
Organisation hiérarchique
Observabilité et mesurabilité
Clarté et précision
Discussion
Volet fidélité (accord interjuges)
Degré d’accord global
Littératie et numératie
Typique et atypique
Buts des domaines de la littératie et de la numératie
Littératie
Numératie
Volet validité de contenu
Pertinence des items
Fonctionnalité
Représentativité
Organisation hiérarchique
Observabilité et mes~rabilité, clarté et précision
Conséquences et retombées possibles
Limites et forces de l’étude
Volet fidélité (accord interjuges)
Validité de contenu
Conclusion
Références
Appendice A. Lettre d’information
Appendice B. Formulaire de consentement
Appendice C. Autorisation de communiquer des renseignements contenus au dossier de recherche
Appendice D. Grille d’évaluation du domaine de la littératie
Appendice E. Grille d’évaluation du domaine de la numératie
Appendice F. Questionnaire: Exploration de validité de contenu des nouveaux domaines : numératie et littératie de l’ErS
Appendice G. Lettre de présentation du questionnaire
Télécharger le rapport complet
