UTech, pour « Utilisabilité des Technologies » ou « Usability of Technologies », est une ressource commune interactive développée par les membres du Réseau Provincial de Recherche en Adaptation-Réadaptation (REPAR) pour soutenir la mobilisation des connaissances et l’expertise en évaluation des technologies de réadaptation. La question à laquelle UTech vise à répondre est : « Quels sont les meilleurs outils (questionnaires et approches) pour évaluer l’utilisabilité des technologies de réadaptation à divers stades de développement des produits et services du point de vue des personnes utilisatrices ? ».
Qui sommes-nous?
Contexte
Les technologies de réadaptation visent à optimiser les capacités et à favoriser l'intégration sociale des personnes vivant avec des incapacités. Les institutions de santé et les bailleurs de fonds, pour soutenir leurs décisions, requièrent des données probantes. L'« utilisabilité », selon la norme ISO 9241-11, est primordiale pour guider le développement des technologies et pour évaluer leur efficience, leur efficacité et la satisfaction des personnes utilisatrices. Depuis 2018, le REPAR soutient une initiative visant à faire la recension des méthodologies pour mesurer l’utilisabilité des technologies de réadaptation. Ses membres, souvent sollicités pour leur expertise dans divers cadres stratégiques, recherchent et recommandent régulièrement les outils et les méthodes les plus adaptés pour l'évaluation des technologies à chaque étape, depuis la preuve de concept jusqu'aux tests en laboratoire et en conditions réelles d'utilisation.
Qu’est-ce qu’une technologie de réadaptation?
Les technologies de réadaptation, un sous-ensemble des technologies de la santé, font référence aux produits de réadaptation et d’assistance, ainsi qu'aux systèmes et services connexes utilisés pour l’évaluation, le traitement de réadaptation ou pour le maintien ou l'amélioration du fonctionnement et du bien-être des personnes utilisatrices. Elles permettent aux personnes vivant avec des incapacités de mener une vie saine, productive, indépendante et digne, pour ainsi participer à l'éducation, au marché du travail et à la vie sociale. Les technologies de réadaptation peuvent réduire le recours aux services de santé et d'assistance formels, ainsi qu'aux soins de longue durée ou encore diminuer le fardeau des proches aidants. Les technologies de réadaptation peuvent être utilisées dans les différentes phases du continuum de la réadaptation par une diversité de personnes utilisatrices finales (client(e)s, intervenant(e)s, prestataires de services).
Objectifs de l’initiative
Les objectifs de cette initiative sont de : 1) répertorier les approches (ex. : photo voice, Wizard of Oz) et outils de mesure (ex. : questionnaires, instruments) de l’utilisabilité des technologies de réadaptation; 2) évaluer leurs qualités métrologiques si pertinent; 3) créer une communauté de pratique autour des meilleures pratiques en évaluation de l’utilisabilité des technologies en réadaptation.
Méthodologie
Un moyen concret pour capter les connaissances générées par l’initiative est la création du répertoire interactif UTech, qui repose sur la mise sur pied de comités pour
répertorier et évaluer les outils identifiés (approches et instruments de mesure). Le développement du répertoire est encadré par une charte qui définit l’étendue des
technologies et des personnes utilisatrices visées par le répertoire, de même que par un protocole méthodologique basé sur des critères internationaux pour identifier
et évaluer les outils de mesure disponibles (publié dans PROSPERO
Étape 1 – Recherche générale dans les bases de données
Tout commence par une recherche documentaire. Une recension parapluie, réalisée sous la supervision d’une bibliothécaire universitaire à l’aide de mots-clés reliés à quatre grands concepts (utilisabilité, méthodes, réadaptation, technologies), a généré plus de 12 000 références uniques dans Medline, EMBASE, CINHAL et Psychinfo. Les articles ont fait par la suite l’objet d’une sélection par titre, puis par résumé et enfin par lecture du texte complet de l’article. Les références retenues devaient : (1) se dérouler en contexte de réadaptation ; (2) utiliser l’outil de mesure ou l’approche pour évaluer l’efficacité, l’efficience, la satisfaction ou l’acceptabilité reliée à une technologie en fonction du cadre de référence ISO 9241-11 :2018 ; et (3) cibler tout stade de développement technologique : préconception, conception de prototypage, ou technologie pleinement développée. Cette recension parapluie a permis d’identifier les outils de mesure et approches utilisés pour évaluer les technologies de réadaptation à divers stades de développement qui se retrouvent dans le répertoire UTech. Au moment du lancement de UTech en 2024, le répertoire numérique comprenait 66 outils de mesure ; les approches feront l’objet d’une démarche ultérieure.
Étape 2 – Recherche sur les propriétés de mesure
Par la suite, chaque outil de mesure a fait l’objet d’une recherche approfondie sur ses propriétés psychométriques, avec des mots clés sélectionnés autour de deux concepts : 1) les propriétés psychométriques (Psychometric properties OR Metrological data OR Translation OR Adaptation OR Validity OR Validation OR Reliability OR Test-retest reliability OR Minimal detectable change OR minimal important change OR Minimal clinically important difference OR Responsiveness OR Reproducibility OR Internal Consistency OR Factor analysis OR Retest stability OR Test stability OR Sensitivity); et 2) le nom d’un outil de mesure. La stratégie de recherche est adaptée pour chaque base de données utilisée (EMBASE, Medline, CINHAL, Web of Science et Health and Psychosocial Instruments (HaPI)). Les articles sont par la suite exportés dans le logiciel de gestion Covidence. Une recherche manuelle peut être réalisée dans les listes de références afin d’identifier des études pouvant être incluses dans la recherche documentaire.
Étape 3 – Sélection des articles
Pour être intégrées dans la recherche documentaire, les études doivent : 1) être rédigées en français ou en anglais; 2) être des sources primaires avec un devis quantitatif, qualitatif ou mixte; 3) porter sur au moins une propriété psychométrique (validité, fidélité, sensibilité au changement, etc.) d’un des outils de mesure ou approches identifiés précédemment en contexte de réadaptation; 4) utiliser l’outil de mesure ou l’approche pour évaluer l’efficacité, l’efficience, la satisfaction ou l’acceptabilité reliée à une technologie en fonction du cadre de référence ISO 9241-11 :2018; et 5) cibler tout stade de développement technologique (préconception, conception de prototypage ou technologie pleinement développée). Les articles font par la suite l’objet d’une sélection par titre, puis par résumé et enfin par lecture du texte complet de l’article. Cette sélection des articles est faite par deux personnes évaluatrices indépendantes qui détermineront leur admissibilité. En cas de doute, un consensus sera atteint par discussion avec une troisième personne chercheuse.
Étape 4 – Évaluation de la qualité méthodologique
En premier lieu, l’approche COSMIN[1] ("consensus-based standards for the selection of health measurement instruments"), incluant le COSMIN Risk of Bias Checklist[2], permet d’évaluer la qualité méthodologique d’études portant sur les propriétés psychométriques de chaque outil de mesure. Cette approche permet d’évaluer le « risque de biais » d’une étude ; en d’autres termes, elle détermine si les résultats de l’étude sont robustes, basés sur ses qualités méthodologiques. Chaque section à évaluer détaille les éléments qui sont cotés sur une échelle de quatre points (inadéquat=1, douteux=2, adéquat=3 et très bon=4). La cote globale pour chaque propriété psychométrique est générée selon le principe de la plus faible. En d’autres termes, l’élément ayant reçu la cote la plus basse représente la cote globale de la propriété psychométrique étudiée. Ainsi, une même étude peut recevoir jusqu’à dix scores en fonction du nombre de propriétés étudiées.
Lorsque c’est pertinent, la grille de McDermid[3] est utilisée pour décrire les qualités structurelles et méthodologiques des articles (questions de recherche, conception de l’étude, mesures, analyses et recommandations). Cette grille comprend 12 items, cotés sur une échelle de 0 à 2 où 0 correspond à une mauvaise qualité de l’item évalué et 2 correspond à une meilleure qualité. Pour un score total maximal de 24 points qui est généralement converti en pourcentage (100% correspondant à 24 points). Le score de la qualité de la grille de McDermid sera caractérisé comme suit : très faible (TF)=0-25%, faible (F)= 26-50%, modéré (M) = 51-75% et élevé (E)= 76-100%[4].
Étape 5 - Sommaire des propriétés psychométriques
Un score sommaire pour chaque questionnaire est généré pour chaque propriété psychométrique. Considérant qu’un même questionnaire peut être évalué par plusieurs études, les critères adaptés de l’étude de Prinsen et al.[5] servent à faire une appréciation sommaire des résultats de toutes les études portant sur une propriété psychométrique. Sur la base de toutes les études recensées, le score sommaire déterminera si, globalement, cette propriété psychométrique est de très bonne qualité (high quality), moyenne qualité (moderate quality), faible qualité (low quality) ou très faible qualité (very low quality), qualité indéterminée (unkown) ou non applicable (not applicable). Cette cote sommaire tient compte du nombre d’études, de la qualité méthodologique des études individuelles, et de la cohérence des résultats entre les études psychométriques. Le score GRADE est représenté graphiquement dans la fiche synthèse du répertoire UTech par le nombre d’étoiles variant de 4 étoiles (high quality) à 1 étoile (very low quality). Quand la qualité est indéterminée (unknown) ou non applicable (not applicable), la propriété n’apparaît pas dans la fiche synthèse.
Étape 6 – L’extraction des données
Les informations suivantes sont par la suite extraites : les auteur(-trice)s, l’année de publication, les objectifs de l’étude, le nombre de participant(e)s à l’étude, le type de population, les interventions utilisées (type de technologie) ainsi que les caractéristiques de l’outil de mesure (nom, but de l’outil, choix de réponses, nombre d’éléments, domaines de l’utilisabilité évalués, versions disponibles, langues disponibles, mode et durée d’administration, matériel nécessaire, utilisateur(-trice)s de l’outil, propriétés psychométriques) et sont elles aussi présentées dans la fiche synthèse du répertoire UTech.
Étape 7 – L’analyse
Un comité de révision est assigné à chaque outil de mesure. Son rôle est d’encadrer la réalisation des recensions et de réviser le contenu des fiches synthèses de chaque outil de mesure qui sont présentées dans le répertoire UTech.
Retombées attendues
Les retombées attendues sont une optimisation de la qualité méthodologique et de la compétitivité de la recherche appliquée dans le domaine des technologies de réadaptation.
Who are we?
UTech, short for "Utilisabilité des Technologies" or "Usability of Technologies," is an interactive shared resource developed by members of the Provincial Network for Research in Adaptation-Rehabilitation (REPAR) to support the mobilization of knowledge and expertise in the evaluation of rehabilitation technologies. The question UTech aims to answer is: "What are the best tools (questionnaires and approaches) for evaluating the usability of rehabilitation technologies at various stages of product and service development from the perspective of the users?"
Context
Rehabilitation technologies aim to optimize abilities and foster the social integration of people living with disabilities. Health institutions and funding organizations require evidence-based data to support their decisions. Usability, as defined by the ISO 9241-11 standard, is crucial for guiding the development of technologies and assessing their efficiency, effectiveness, and user satisfaction. Since 2018, REPAR has supported an initiative to review methodologies for measuring the usability of rehabilitation technologies. Its members, often sought after for their expertise in various strategic settings, regularly research and recommend the most appropriate tools and methods for evaluating technologies at every stage, from proof of concept to testing in the lab and real-world conditions.
What is a rehabilitation technology?
Rehabilitation technologies, a subset of health technologies, refer to rehabilitation and assistive products, as well as related systems and services used for assessment, rehabilitation treatment, or for maintaining or improving the functioning and well-being of users. They enable individuals living with disabilities to lead healthy, productive, independent, and dignified lives, participating in education, the labor market, and social life. Rehabilitation technologies can reduce the need for formal health and support services, as well as long-term care or lessen the burden on caregivers. These technologies can be used at various stages of the rehabilitation continuum by a wide range of end-users (clients, practitioners, service providers).
Objectives of the initiative
The objectives of this initiative are to: 1) identify approaches (e.g., photo voice, Wizard of Oz) and usability measurement tools (e.g., questionnaires, instruments) for rehabilitation technologies; 2) evaluate their metrological qualities where relevant; and 3) create a community of practice around best practices for evaluating the usability of rehabilitation technologies.
Methodology
A concrete way to capture the knowledge generated by the initiative is the creation of the interactive UTech directory, which involves setting up committees to list and evaluate identified tools (approaches and measurement instruments). The directory development
is guided by a charter that defines the scope of the technologies and users targeted by the directory, as well as a methodological protocol based on international criteria to identify and evaluate available measurement tools (published in PROSPERO
Step 1 – General database search
Everything starts with a literature review. An umbrella review, conducted under the supervision of a university librarian using keywords related to four main concepts (usability, methods, rehabilitation, technologies), generated more than 12,000 unique references in Medline, EMBASE, CINHAL, and Psychinfo. The articles were then selected based on title, abstract, and full-text reading. The selected references had to: (1) take place in a rehabilitation context; (2) use the measurement tool or approach to assess the effectiveness, efficiency, satisfaction, or acceptability related to a technology based on the ISO 9241-11:2018 framework; and (3) target any stage of technological development: pre-conception, prototyping design, or fully developed technology. This umbrella review identified the measurement tools and approaches used to assess rehabilitation technologies at various stages of development, which are included in the UTech directory. As of UTech's launch in 2024, the digital directory included 66 measurement tools, with approaches to be covered in a later phase.
Step 2 – Research on measurement properties
Each measurement tool underwent an in-depth search for its psychometric properties, with selected keywords focused on two concepts: 1) psychometric properties (Psychometric properties OR Metrological data OR Translation OR Adaptation OR Validity OR Validation OR Reliability OR Test-retest reliability OR Minimal detectable change OR Minimal important change OR Minimal clinically important difference OR Responsiveness OR Reproducibility OR Internal Consistency OR Factor analysis OR Retest stability OR Test stability OR Sensitivity); and 2) the name of a measurement tool. The search strategy is adapted for each database used (EMBASE, Medline, CINHAL, Web of Science, and Health and Psychosocial Instruments (HaPI)). The articles are then exported to the Covidence management software. A manual search can be conducted in reference lists to identify studies for inclusion in the literature review.
Step 3 – Article selection
To be included in the literature review, studies must: 1) be written in French or English; 2) be primary sources with a quantitative, qualitative, or mixed design; 3) address at least one psychometric property (validity, reliability, sensitivity to change, etc.) of one of the previously identified measurement tools or approaches in a rehabilitation context; 4) use the measurement tool or approach to assess effectiveness, efficiency, satisfaction, or acceptability related to a technology based on the ISO 9241-11:2018 framework; and 5) target any stage of technological development (pre-conception, prototyping design, or fully developed technology). The articles are then selected based on title, abstract, and full-text reading. Two independent reviewers assess the eligibility of the articles. In case of doubt, consensus is reached through discussion with a third researcher.
Step 4 – Methodological quality evaluation
First, the COSMIN approach[1] ("consensus-based standards for the selection of health measurement instruments"), including the COSMIN Risk of Bias Checklist[2], is used to assess the methodological quality of studies on the psychometric properties of each measurement tool. This approach evaluates the "risk of bias" in a study, determining whether its results are robust based on its methodological quality. Each section evaluated details the elements that are rated on a four-point scale (inadequate=1, doubtful=2, adequate=3, and very good=4). The overall score for each psychometric property is generated based on the lowest rating, meaning that the lowest-rated element represents the overall score for the psychometric property studied. Thus, a single study can receive up to ten scores depending on the number of properties evaluated.
When relevant, the McDermid[3] grid is used to describe the structural and methodological qualities of the articles (research questions, study design, measures, analyses, and recommendations). This grid includes 12 items, rated on a scale of 0 to 2, where 0 corresponds to poor quality and 2 corresponds to the best quality for the evaluated item. A total maximum score of 24 points is generally converted into a percentage (100% corresponds to 24 points). The quality score based on the McDermid grid is characterized as follows: very low (VL)=0-25%, low (L)=26-50%, moderate (M)=51-75%, and high (H)=76-100%[4].
Step 5 – Summary of psychometric properties
A summary score for each questionnaire is generated for each psychometric property. Considering that the same questionnaire can be evaluated by multiple studies, criteria adapted from Prinsen et al. are used to provide a summary assessment of the results from all studies on a psychometric property. Based on all reviewed studies, the summary score determines whether, overall, this psychometric property is of high quality, moderate quality, low quality, or very low quality, unknown quality, or not applicable. This summary score considers the number of studies, the methodological quality of individual studies, and the consistency of results between psychometric studies. The GRADE score is graphically represented in the UTech directory summary sheet by the number of stars, ranging from 4 stars (high quality) to 1 star (very low quality). When quality is unknown or not applicable, the property is not listed in the summary sheet.
Step 6 – Data extraction
The following information is extracted: authors, year of publication, study objectives, number of study participants, type of population, interventions used (type of technology), and characteristics of the measurement tool (name, purpose of the tool, response options, number of items, usability domains assessed, available versions, available languages, mode and duration of administration, necessary equipment, users of the tool, psychometric properties). This information is also presented in the UTech directory summary sheet.
Step 7 – Analysis
A review committee is assigned to each measurement tool. Its role is to oversee the completion of reviews and to review the content of the summary sheets for each measurement tool presented in the UTech directory.
Expected outcomes
The expected outcomes are an optimization of methodological quality and the competitiveness of applied research in the field of rehabilitation technologies.