Soutenance mémoire
DEVELOPPEMENT ET VALIDATION DU SCORE P.R.I.S.M.
OBJECTIFS DE L’ETUDE
L’objectif principal est d’explorer les propriétés psychométriques du score P.R.I.S.M. dans sa version actuelle.
L’objectif secondaire est d’en déduire les améliorations nécessaires en terme de contenu et de construit ainsi que dans la méthodologie de l’étude de validation définitive.
POPULATION ET METHODE
L’étude de validation du score P.R.I.S.M. a obtenu l’aval du comité d’éthique du CHU d’Angers le 09 Mars 2016.
Echantillon
L’étude P.R.I.S.M. est une étude transversale qui a été réalisée de Mars à Avril 2016. La base de recrutement a été constituée d’une population de 785 collégiens et lycéens, scolarisés de la 5ème à la Terminale, dans le collège-lycée David d’Angers, le collège Pierre Reverdy et le lycée polyvalent Raphaël Elizé de Sablé-sur-Sarthe.
Procédure
Une lettre d’information a été transmise aux parents d’élèves concernés, leur indiquant d’une part qu’une intervention de sensibilisation à la Cyberviolence serait réalisée en classe, par l’auteur correspondant. D’autre part, qu’une carte d’invitation (annexe 2) ainsi qu’un formulaire de consentement, seraient remis aux élèves à cette occasion.
La participation à l’étude s’est faite sur la base d’un volontariat de l’élève et de ses parents, invités à remplir le questionnaire en ligne (https://fr.surveymonkey.net/r/PRISM-intro) ainsi que les questionnaires de validation. Le choix de Surveymonkey© s’est basé sur la rigueur de leur déclaration de sécurité et de leur politique de confidentialité. Aucun critère d’exclusion n’a été retenu mais l’absence d’accès à une connexion internet était de fait un critère de non-inclusion. L’anonymat a été garanti par le recueil d’un identifiant personnel créé par le répondant comprenant son sexe, sa date de naissance et ses initiales ; de plus, les adresses IP des répondants n’étaient pas connues des investigateurs. Sur conseil du comité d’éthique, l’élève et ses parents étaient préalablement informés que les répondants mineurs, victimes de Cyber harcèlement, seraient recontactés par téléphone afin de recevoir une proposition de soin et de conseil juridique. Cette levée partielle d’anonymat a été rendue possible par l’intervention des infirmières scolaires des établissements concernés, qui avaient pour charge de recueillir les formulaires de consentement signés et de les verser au dossier médical scolaire ; puis de les comparer le cas échéant à la liste des identifiants des victimes fournie par les investigateurs.
Analyse statistique
Les analyses descriptives ont été présentées pour l’ensemble des données recueillies sur les sujets inclus dans l’étude. Les variables qualitatives ont été étudiées en termes de fréquence et de pourcentage selon les modalités du paramètre. Les variables quantitatives ont été décrites en termes de médiane, intervalle interquartile, moyenne, et déviation standard.
Pour les variables quantitatives, lors de la réalisation des analyses univariées, les tests statistiques adéquats ont été utilisés en fonction de la distribution des variables (tests paramétriques ou non paramétriques).
Les propriétés psychométriques explorées sont l’acceptabilité, la validité de contenu, la validité de critère, la validité de construit et la fidélité (consistance interne et fidelité testretest).
Tous les tests ont été au seuil de 5% bilatéraux.
Les analyses statistiques ont été effectuées en utilisant le logiciel Stata 12.1 (StataCorp, Texas).
Validité
Acceptabilité. L’acceptabilité de l’outil utilisé a été explorée par les pourcentages des données manquantes. Ces pourcentages ont été d’emblée limités dans la conception de l’outil en ligne qui oblige à répondre à chaque question avant de passer à la suivante. Les données manquantes sont donc celles des répondants n’ayant pas terminé le questionnaire, que nous évaluerons par un taux d’abandon. Par ailleurs, les répondants avaient la possibilité de répondre « Je ne sais pas » pour chaque situation. Ces réponses peuvent refléter une mauvaise compréhension des items, que nous évaluerons par des taux d’incertitude global, dimensionnels et par situation.
Validités de contenu. La validité de face du score P.R.I.S.M a été étudiée sur un échantillon de 10 adolescents âgés de 13 à 17 ans, de la connaissance de l’auteur correspondant ; cette pré-étude n’a pas révélé de limites en termes de compréhension ou d’exhaustivité des situations de Cyberviolence explorées.
La validité d’expert par consensus a été explorée auprès d’un jury d’experts, composé du Dr Arsène [32], du Dr Catheline [33], du Dr Le Heuzey [34], de Mme Kubiszewski [35] et de Mme Blaya [12,13,30]. Ceux-ci ont été invités à remplir une grille d’évaluation permettant de coter sur une échelle de Likert (de 1 « non pertinent » à 5 « très pertinent »), la pertinence des choix conceptuels (définitions, approche dimensionnelle, exhaustivité), de présentation (instructions données, passation en ligne, ergonomie), des modalités de réponse (vécu traumatique résiduel, critères de Cyber harcèlement) et de cotation (double évaluation) du score.
Validité de critère. La validité concourante du score a été explorée dimension par dimension en étudiant les corrélations entre chaque dimension du score P.R.I.S.M. et les scores de référence suivants, validés en langue française : le Body Esteem Scale (BES) [36]
(dimension intégrité Physique) ; l’Echelle de Solitude de l’Université Laval (ESUL) [37] et la sous-échelle « Acceptation sociale » (SPPA-AS) du Self-Perception Profile for Adolescents de Harter (SPPA) [38] (dimension Rejet social) ; la sous-échelle « Personnalité Paranoïaque » du Personality Diagnostic Questionnaire 4+ (PDQ4+) [39] (dimension Intrusion) ; la souséchelle « Sentimentale » (SPPA-S) du SPPA (dimension Sexualité et sentiment) ; et l’échelle d’estime de soi de Rosenberg (RSES) [40] (dimension Intégrité Mentale).
Les corrélations ont été évaluées en utilisant les tests adéquats (coefficient de corrélation de Pearson ou coefficient de corrélation Spearman). La corrélation entre deux paramètres étudiés a été considérée comme absente (coefficient de corrélation entre 0 – 0.09) ; très faible ou médiocre (coefficient de corrélation : 0.1 – 0.2) ; faible (coefficient de corrélation : 0.21 – 0.4) ; modérée (coefficient de corrélation : 0.41 – 0.6) ; forte (coefficient de corrélation : 0.61 – 0.8) ; très forte (coefficient de corrélation > 0.8).
Validité de construit. La validité de structure du score en 5 dimensions, a été étudiée par la réalisation d’une analyse factorielle confirmatoire (CFA) de Spearman.
Fidélité
Fidélité test-retest. Les répondants ont été invités à remplir une seconde fois le score P.R.I.S.M, 10 jours (+/-2) après la première passation avec pour consigne de ne pas intégrer des situations de Cyberviolence vécues dans ce délai. Ceci a permis d’évaluer la reproductibilité des réponses entre deux administrations successives du score. Cette reproductibilité a été estimée en utilisant le coefficient de corrélation intra-classe (CCI). Une valeur supérieure à 0,40 est considérée comme acceptable [41]. Un coefficient de corrélation intra-classe de 0.61 – 0.8 a été considéré comme une forte reproductibilité ; un coefficient de corrélation intra-classe > 0.8 a été considéré comme une très forte reproductibilité.
Consistance interne. La consistance interne est une propriété qui décrit l’homogénéité des items de chaque dimension. Elle permet de déterminer si les items d’une même dimension (mesurant le même construit) produisent des scores fortement corrélés. La cohérence interne a été estimée pour chaque dimension et pour l’ensemble du score. Elle a été étudiée en utilisant le coefficient alpha de Cronbach. Une valeur supérieure à 0,70 est considérée comme acceptable [42]. Un coefficient alpha de Cronbach de 0.71 – 0.8 a été considéré comme une forte consistance interne ; un coefficient alpha de Cronbach > 0.8 a été considéré comme une très forte consistance interne.
RÉSULTATS
Caractéristiques de l’échantillon
Sur les 785 collégiens et lycéens rencontrés, 63 ont rempli le score P.R.I.S.M. dont 10 l’ont rempli une seconde fois à 10 jours ; 40 ont également rempli les scores de comparaison (BAS, ESUL, SPPA-AS et -S, PDQ4+ et RSES).
Le sex-ratio H/F de l’échantillon est de 0,62 pour 1,05 dans la population générale correspondante (soit les individus nés en France métropolitaine de 1996 à 2004 [43]). La répartition en fonction de l’âge est la suivante : 25,4% nés en 1996-1997 (21,4 en population générale), 27% en 1998-1999 (22,1), 22,2% en 2000-2001 (23,0) et 25,4% en 2002-2004 (33,5).
Réponses au score P.R.I.S.M. (tableau I)
Dans notre échantillon, 46% des répondants ont été victimes de Cyberviolence faible ou modérée, 27% de Cyberviolence forte avec pour 17,5% au moins 3 critères de Cyber harcèlement ; seuls 27% n’ont jamais connu de situation de Cyberviolence.
Toutes dimensions confondues, les femmes semblent plus touchées (82,1% vs 58,3%) bien que les scores globaux moyens soient équivalents ; à l’exception notable de la Cyberviolence « rejet social » qui touche majoritairement les hommes (45,8% vs 33,3%).
La proportion de cybervictimes ne suit pas une évolution linéaire en fonction de l’âge : 93,8% pour les nés en 2004-2002, 64,3% pour les nés en 2001-2000, 53% pour les nés en 1999-1998 et 81,4% pour les nés en 1997-1996.
Propriétés psychométriques
Validité
Acceptabilité. Le taux d’abandon est de 3%. Le taux d’incertitude global est de 6,4%. Les taux d’incertitude dimensionnels sont de 7,3% (intégrité Physique), 5,7% (Rejet social), 8,9% (Intrusion), 6,0% (Sexualité et sentiment) et 5,4% (intégrité Mentale). La moyenne des taux d’incertitude par situation est de 4,0 avec une déviation standard de 2,1. Les situations ayant les plus forts taux d’incertitude sont les situations n°3 et 23 (11,1%), n°21 (12,7%) et n°11 (15,9%).
Validité de contenu. Le jury d’expert a coté en moyenne à 4/5 la pertinence des choix conceptuels, de présentation, des modalités de réponse et de cotation du score. Aucune des 25 situations choisies n’a eu de cotation moyenne en dessous de 3/5. Des réserves ont été individuellement posées sur les critères de définitions de Cyberviolence et de Cyber harcèlement. La pertinence de l’approche dimensionnelle et celle de la double évaluation ont été particulièrement soulignées.
Validité de critère concourante. En raison du faible effectif de répondants, les coefficients de corrélation (CC) entre les scores partiels dimensionnels et les résultats aux scores de comparaison, ont été calculés sans tenir compte des catégories de Cyberviolence (faible, modérée, forte, Cyber harcèlement). Ainsi, être victime de Cyberviolence dans la dimension correspondante, est :
. fortement corrélé à un sentiment de solitude (CC=0,69) et à une mauvaise estime de soi globale (CC=-0,74) . modérément corrélé à une faible satisfaction personnelle dans le domaine de l’acceptation sociale (CC=-0,42).
. faiblement corrélé au développement de traits de personnalité de type paranoïaque (CC=0,27).
Nous discuterons de l’absence de corrélation avec l’estime de soi corporelle (CC=-0,06) et de la corrélation faible mais paradoxale avec une bonne satisfaction personnelle dans le domaine sentimental (CC=0,32).
Validité de construit. La CFA n’a pas confirmé la structure en 5 dimensions du score P.R.I.S.M.
Fidélité
Fidélité test-retest. Malgré un faible effectif de répondants, le calcul des coefficients de corrélation intra-classe (CCI) retrouve une forte corrélation des scores globaux du P.R.I.S.M. entre la première et la seconde passation sur un intervalle de 10 jours (CCI=0,7 ; IC : 0,65- 0,80). Cette corrélation est particulièrement forte si l’on regarde les dimensions intégrité Physique (CCI=0,0,98 ; IC : 0,96-0,99), Intrusion (CCI=0,86 ; IC : 0,7-0,94) et intégrité Mentale (CCI=0,81 ; IC : 0,60-0,93).
Nous discuterons de la corrélation modérée pour la dimension Rejet social (CCI=0,5 ; IC : 0,24-0,76) et de la corrélation faible pour la dimension Sexualité et sentiment (CCI=0,34 ; IC : 0,10-0,7).
Consistance interne (figure 1). Les coefficients de Cronbach sont en faveur d’une forte consistance interne globale (α = 0,80) et dimensionnelle.
|
Table des matières
LISTE DES ABREVIATIONS
RESUME
INTRODUCTION
1. Enjeu de santé publique
2. Divergences conceptuelles et de définition
3. Limites des outils de mesure
4. Développement du score P.R.I.S.M.
OBJECTIFS DE L’ETUDE
POPULATION ET METHODE
1. Echantillon
2. Procédure
3. Analyse statistique
3.1. Validité
3.2. Fidélité
RÉSULTATS
1. Caractéristiques de l’échantillon
2. Réponses au score P.R.I.S.M.
3. Propriétés psychométriques
3.1. Validité
3.2. Fidélité
DISCUSSION
1. Représentativité et recrutement
2. Exhaustivité et obsolescence
3. Evaluation et cotation
4. Exploration psychométrique
5. Pertinence clinique
CONCLUSION
1. Etude de validation définitive
2. Perspectives de recherche
CONFLIT D’INTERET
REFERENCES
LISTE DES FIGURES
LISTE DES TABLEAUX
TABLE DES MATIERES
ANNEXES
Télécharger le rapport complet
