xmark

Qui sommes-nous?

 

UTech, pour « Utilisabilité des Technologies » ou « Usability of Technologies », est une ressource commune interactive développée par les membres du Réseau Provincial de Recherche en Adaptation-Réadaptation (REPAR) pour soutenir la mobilisation des connaissances et l’expertise en évaluation des technologies de réadaptation. La question à laquelle UTech vise à répondre est : « Quels sont les meilleurs outils (questionnaires et approches) pour évaluer l’utilisabilité des technologies de réadaptation à divers stades de développement des produits et services du point de vue des personnes utilisatrices ? ».

Contexte

Les technologies de réadaptation visent à optimiser les capacités et à favoriser l'intégration sociale des personnes vivant avec des incapacités. Les institutions de santé et les bailleurs de fonds, pour soutenir leurs décisions, requièrent des données probantes. L'« utilisabilité », selon la norme ISO 9241-11, est primordiale pour guider le développement des technologies et pour évaluer leur efficience, leur efficacité et la satisfaction des personnes utilisatrices. Depuis 2018, le REPAR soutient une initiative visant à faire la recension des méthodologies pour mesurer l’utilisabilité des technologies de réadaptation. Ses membres, souvent sollicités pour leur expertise dans divers cadres stratégiques, recherchent et recommandent régulièrement les outils et les méthodes les plus adaptés pour l'évaluation des technologies à chaque étape, depuis la preuve de concept jusqu'aux tests en laboratoire et en conditions réelles d'utilisation.

Qu’est-ce qu’une technologie de réadaptation?

Les technologies de réadaptation, un sous-ensemble des technologies de la santé, font référence aux produits de réadaptation et d’assistance, ainsi qu'aux systèmes et services connexes utilisés pour l’évaluation, le traitement de réadaptation ou pour le maintien ou l'amélioration du fonctionnement et du bien-être des personnes utilisatrices. Elles permettent aux personnes vivant avec des incapacités de mener une vie saine, productive, indépendante et digne, pour ainsi participer à l'éducation, au marché du travail et à la vie sociale. Les technologies de réadaptation peuvent réduire le recours aux services de santé et d'assistance formels, ainsi qu'aux soins de longue durée ou encore diminuer le fardeau des proches aidants. Les technologies de réadaptation peuvent être utilisées dans les différentes phases du continuum de la réadaptation par une diversité de personnes utilisatrices finales (client(e)s, intervenant(e)s, prestataires de services).

Objectifs de l’initiative

Les objectifs de cette initiative sont de : 1) répertorier les approches (ex. : photo voice, Wizard of Oz) et outils de mesure (ex. : questionnaires, instruments) de l’utilisabilité des technologies de réadaptation; 2) évaluer leurs qualités métrologiques si pertinent; 3) créer une communauté de pratique autour des meilleures pratiques en évaluation de l’utilisabilité des technologies en réadaptation.

Méthodologie

Un moyen concret pour capter les connaissances générées par l’initiative est la création du répertoire interactif UTech, qui repose sur la mise sur pied de comités pour répertorier et évaluer les outils identifiés (approches et instruments de mesure). Le développement du répertoire est encadré par une charte qui définit l’étendue des technologies et des personnes utilisatrices visées par le répertoire, de même que par un protocole méthodologique basé sur des critères internationaux pour identifier et évaluer les outils de mesure disponibles (publié dans PROSPERO external-link).

Étape 1 – Recherche générale dans les bases de données

Tout commence par une recherche documentaire. Une recension parapluie, réalisée sous la supervision d’une bibliothécaire universitaire à l’aide de mots-clés reliés à quatre grands concepts (utilisabilité, méthodes, réadaptation, technologies), a généré plus de 12 000 références uniques dans Medline, EMBASE, CINHAL et Psychinfo. Les articles ont fait par la suite l’objet d’une sélection par titre, puis par résumé et enfin par lecture du texte complet de l’article. Les références retenues devaient : (1) se dérouler en contexte de réadaptation ; (2) utiliser l’outil de mesure ou l’approche pour évaluer l’efficacité, l’efficience, la satisfaction ou l’acceptabilité reliée à une technologie en fonction du cadre de référence ISO 9241-11 :2018 ; et (3) cibler tout stade de développement technologique : préconception, conception de prototypage, ou technologie pleinement développée. Cette recension parapluie a permis d’identifier les outils de mesure et approches utilisés pour évaluer les technologies de réadaptation à divers stades de développement qui se retrouvent dans le répertoire UTech. Au moment du lancement de UTech en 2024, le répertoire numérique comprenait 66 outils de mesure ; les approches feront l’objet d’une démarche ultérieure.

Étape 2 – Recherche sur les propriétés de mesure

Par la suite, chaque outil de mesure a fait l’objet d’une recherche approfondie sur ses propriétés psychométriques, avec des mots clés sélectionnés autour de deux concepts : 1) les propriétés psychométriques (Psychometric properties OR Metrological data OR Translation OR Adaptation OR Validity OR Validation OR Reliability OR Test-retest reliability OR Minimal detectable change OR minimal important change OR Minimal clinically important difference OR Responsiveness OR Reproducibility OR Internal Consistency OR Factor analysis OR Retest stability OR Test stability OR Sensitivity); et 2) le nom d’un outil de mesure. La stratégie de recherche est adaptée pour chaque base de données utilisée (EMBASE, Medline, CINHAL, Web of Science et Health and Psychosocial Instruments (HaPI)). Les articles sont par la suite exportés dans le logiciel de gestion Covidence. Une recherche manuelle peut être réalisée dans les listes de références afin d’identifier des études pouvant être incluses dans la recherche documentaire.

Étape 3 – Sélection des articles

Pour être intégrées dans la recherche documentaire, les études doivent : 1) être rédigées en français ou en anglais; 2) être des sources primaires avec un devis quantitatif, qualitatif ou mixte; 3) porter sur au moins une propriété psychométrique (validité, fidélité, sensibilité au changement, etc.) d’un des outils de mesure ou approches identifiés précédemment en contexte de réadaptation; 4) utiliser l’outil de mesure ou l’approche pour évaluer l’efficacité, l’efficience, la satisfaction ou l’acceptabilité reliée à une technologie en fonction du cadre de référence ISO 9241-11 :2018; et 5) cibler tout stade de développement technologique (préconception, conception de prototypage ou technologie pleinement développée). Les articles font par la suite l’objet d’une sélection par titre, puis par résumé et enfin par lecture du texte complet de l’article. Cette sélection des articles est faite par deux personnes évaluatrices indépendantes qui détermineront leur admissibilité. En cas de doute, un consensus sera atteint par discussion avec une troisième personne chercheuse.

Étape 4 – Évaluation de la qualité méthodologique

En premier lieu, l’approche COSMIN[1] ("consensus-based standards for the selection of health measurement instruments"), incluant le COSMIN Risk of Bias Checklist[2], permet d’évaluer la qualité méthodologique d’études portant sur les propriétés psychométriques de chaque outil de mesure. Cette approche permet d’évaluer le « risque de biais » d’une étude ; en d’autres termes, elle détermine si les résultats de l’étude sont robustes, basés sur ses qualités méthodologiques. Chaque section à évaluer détaille les éléments qui sont cotés sur une échelle de quatre points (inadéquat=1, douteux=2, adéquat=3 et très bon=4). La cote globale pour chaque propriété psychométrique est générée selon le principe de la plus faible. En d’autres termes, l’élément ayant reçu la cote la plus basse représente la cote globale de la propriété psychométrique étudiée. Ainsi, une même étude peut recevoir jusqu’à dix scores en fonction du nombre de propriétés étudiées.

Lorsque c’est pertinent, la grille de McDermid[3] est utilisée pour décrire les qualités structurelles et méthodologiques des articles (questions de recherche, conception de l’étude, mesures, analyses et recommandations). Cette grille comprend 12 items, cotés sur une échelle de 0 à 2 où 0 correspond à une mauvaise qualité de l’item évalué et 2 correspond à une meilleure qualité. Pour un score total maximal de 24 points qui est généralement converti en pourcentage (100% correspondant à 24 points). Le score de la qualité de la grille de McDermid sera caractérisé comme suit : très faible (TF)=0-25%, faible (F)= 26-50%, modéré (M) = 51-75% et élevé (E)= 76-100%[4].

Étape 5 - Sommaire des propriétés psychométriques

Un score sommaire pour chaque questionnaire est généré pour chaque propriété psychométrique. Considérant qu’un même questionnaire peut être évalué par plusieurs études, les critères adaptés de l’étude de Prinsen et al.[5] servent à faire une appréciation sommaire des résultats de toutes les études portant sur une propriété psychométrique. Sur la base de toutes les études recensées, le score sommaire déterminera si, globalement, cette propriété psychométrique est de très bonne qualité (high quality), moyenne qualité (moderate quality), faible qualité (low quality) ou très faible qualité (very low quality), qualité indéterminée (unkown) ou non applicable (not applicable). Cette cote sommaire tient compte du nombre d’études, de la qualité méthodologique des études individuelles, et de la cohérence des résultats entre les études psychométriques. Le score GRADE est représenté graphiquement dans la fiche synthèse du répertoire UTech par le nombre d’étoiles variant de 4 étoiles (high quality) à 1 étoile (very low quality). Quand la qualité est indéterminée (unknown) ou non applicable (not applicable), la propriété n’apparaît pas dans la fiche synthèse.

Étape 6 – L’extraction des données

Les informations suivantes sont par la suite extraites : les auteur(-trice)s, l’année de publication, les objectifs de l’étude, le nombre de participant(e)s à l’étude, le type de population, les interventions utilisées (type de technologie) ainsi que les caractéristiques de l’outil de mesure (nom, but de l’outil, choix de réponses, nombre d’éléments, domaines de l’utilisabilité évalués, versions disponibles, langues disponibles, mode et durée d’administration, matériel nécessaire, utilisateur(-trice)s de l’outil, propriétés psychométriques) et sont elles aussi présentées dans la fiche synthèse du répertoire UTech.

Étape 7 – L’analyse

Un comité de révision est assigné à chaque outil de mesure. Son rôle est d’encadrer la réalisation des recensions et de réviser le contenu des fiches synthèses de chaque outil de mesure qui sont présentées dans le répertoire UTech.

Retombées attendues

Les retombées attendues sont une optimisation de la qualité méthodologique et de la compétitivité de la recherche appliquée dans le domaine des technologies de réadaptation.

Prinsen CA, Mokkink LB, Bouter LM, Alonso J, Patrick DL, De Vet HC, Terwee CB: COSMIN guideline for systematic reviews of patient-reported outcome measures. Quality of Life Research 2018, 27(5):1147-1157.
Mokkink LB, De Vet HC, Prinsen CA, Patrick DL, Alonso J, Bouter LM, Terwee CB: COSMIN risk of bias checklist for systematic reviews of patient-reported outcome measures. Quality of Life Research/em> 2018, 27(5):1171-1179.
MacDermid J: Critical appraisal of study design for psychometric articles evaluation form and interpretation guide. Evidence Based Rehabilitation: A Guide to Practice, 3rd ed; Slack: Thorofare, NJ, USA 2008:387-392.
Balshem H, Helfand M, Schünemann HJ, Oxman AD, Kunz R, Brozek J, Vist GE, Falck-Ytter Y, Meerpohl J, Norris S: GRADE guidelines: 3. Rating the quality of evidence. Journal of clinical epidemiology 2011, 64(4):401-406.
Prinsen CA, Vohra S, Rose MR, Boers M, Tugwell P, Clarke M, Williamson PR, Terwee CB: How to select outcome measurement instruments for outcomes included in a "Core Outcome Set"–a practical guideline. Trials 2016, 17(1):1-10.