A Mixed-Methods Evaluation of the Implementation of a PerformanceMeasurement System for South Africa’s Substance Use TreatmentServices
Objective:Minimal knowledge exists on the factors that affect implementation ofperformance measurement systems, particularly in low- and middle-incomecountries (LMICs). To address this, we describe the implementation of aperformance measurement system for South Africa’s substance abusetreatment services known as the Service Quality Measures (SQM)initiative.Method:We conducted a mixed-methods evaluation of system implementation. We surveyed81 providers about the extent of system implementation within their agenciesand the factors that facilitated implementation. We conducted 26 in-depthinterviews of providers’ perceived barriers and facilitators toimplementation.Results:The overall penetration of this system was high. Almost all providers viewedthe system as feasible to implement, acceptable, appropriate for use intheir context, and useful for guiding service improvements. However, theextent of implementation varied significantly across sites(p < .05). Leadership support (p< .05) was associated with increased implementation in multivariableanalyses. Providers reflected that high rates of patient attrition,variability in willingness to implement the system, and limited capacity forinterpreting performance feedback affected the extent of systemimplementation.Conclusions:It is feasible to implement a performance measurement system in LMICs if thesystem is acceptable, appropriate, and useful to providers. To ensure theutility of this system for treatment service strengthening, systemimplementation must be optimized. Efforts to enhance target populationcoverage, strengthen leadership support for performance measurement, andbuild capacity for performance feedback utilization may enhance theimplementation of this performance measurement system.Objectifs :Peu de connaissance existe sur les facteurs influençantl’implantation d’un système de mesure du rendement,particulièrement dans les pays à revenu faible etintermédiaire (PRFI). Pour aborder cette question, nous décrivonsl’implantation d’un système de mesure du rendement desservices de traitement en toxicomanie d’Afrique du Sud, connu sous lenom du projet de Mesures de la qualité du service (MQS).Méthode :Nous avons mené une évaluation d’implantation dusystème à l’aide d’une méthode mixte. Nousavons interrogé 81 pourvoyeurs de services sur l’ampleur del’implantation du système dans leur agence et les facteurs quiont facilité l’implantation. Nous avons mené 26 entrevuesapprofondies sur les perceptions des pourvoyeurs concernant les obstacles etles facilitateurs de l’implantation.Résultats :L’appropriation générale de ce système étaitélevée. Presque tous les pourvoyeurs voyaient la faisabilitéd’implantation du système et le considéraient commeétant acceptable, approprié à leur contexte et utile pourguider l’amélioration des services. Cependant, l’ampleurde l’implantation variait de façon significative à traversles sites (p < ,05). Le soutien de la direction(p < ,05) était associé à uneimplantation plus importante dans les analyses multivariées. Lespourvoyeurs soulignaient qu’un taux élevéd’attrition des patients, une variabilité dans la volontéd’implanter le système ainsi qu’une capacitélimitée d’interpréter les rétroactions sur lerendement ont eu un impact sur l’ampleur de l’implantation dusystème.Conclusion :Il est faisable d’implanter un système de mesure du rendementdans les PRFI, si le système est acceptable, approprié et utilepour les pourvoyeurs de soins. Pour veiller à ce que ce systèmesoit utile pour l’amélioration des services de traitement,l’implantation du système doit être optimale. Des effortspour mieux couvrir la population cible, l’amélioration dusoutien de la direction à l’égard de la mesure du rendementet le développement de la capacité à interpréter lesrétroactions sur le rendement peuvent améliorerl’implantation de ce système de mesure du rendement.Objetivos:Existe un conocimiento mínimo sobre los factores que afectan laimplementación de los sistemas de medición del desempeño,particularmente en los países de ingresos bajos y medios (PIMB). Paraabordar esto, describimos la implementación de un sistema demedición del rendimiento para los servicios de tratamiento del abuso desustancias de Sudáfrica conocido como la iniciativa de Medidas deCalidad del Servicio (MCS).Método:Realizamos una evaluación de métodos mixtos de laimplementación del sistema. Encuestamos a 81 proveedores sobre elalcance de la implementación del sistema dentro de sus agencias y losfactores que facilitaron la implementación. Llevamos a cabo 26entrevistas en profundidad sobre las barreras percibidas por los proveedoresy los facilitadores para la implementación.Resultados:La penetración total de este sistema fue alta. Casi todos losproveedores vieron el sistema como factible de implementar, aceptable,apropiado para usar en su contexto y útil para guiar las mejoras delservicio. Sin embargo, el grado de implementación variósignificativamente entre los sitios (p <.05). El apoyo al liderazgo (p<.05) se asoció con una mayor implementación en análisismultivariables. Los proveedores reflejaron que las altas tasas de desgastedel paciente, la variabilidad en la disposición para implementar elsistema y la capacidad limitada para interpretar la retroalimentacióndel desempeño afectaron el alcance de la implementación delsistema.Conclusión:Es factible implementar sistemas de medición del rendimiento en PIBM siel sistema es aceptable, apropiado y útil a los proveedores. Paragarantizar la utilidad de este sistema para el fortalecimiento del serviciode tratamiento, se debe optimizar la implementación del sistema. Losesfuerzos para mejorar la cobertura de la población objetivo,fortalecer el apoyo del liderazgo para la medición de los resultados, yfomentar la capacidad de utilización de la información sobre elrendimiento pueden mejorar la aplicación de este sistema demedición del desempeño.
Read more