This is a early stage inventory of the quality checklists used in countries for hospital, health center, district health team performance measurement. Contact ndeborman@bluesquare.org if you are willing to share some of your tools.
Democratic Republic of Congo Health Center
Democratic Republic of Congo Hospital
India Karnataka PHC quality assessment
Haiti direction départementale de santé
Rapporteur : Cheickna TOURE
Les travaux de la troisième journée se sont déroulés en quatre sessions thématiques. La première a traité de l’utilisation des technologies de l’information et de la communication dans les réformes de mécanismes de paiement des prestataires. Une présentation introductive du sujet a été faite sur l’expérience du réseau d’apprentissage conjoint JLN dans la conceptualisation des mécanismes de paiement des prestataires de soins. JLN préconise trois grandes phases. Au stade initial, on peut calculer les rémunérations des prestataires sur la base des données de routine. Au second degré de sophistication, les données d’utilisation des services doivent rentrer en ligne de compte permettant un certain niveau d’agrégation ou de désagrégation. Le haut niveau de complexification correspond à la situation où les données rétrospectives et prospectives doivent être utilisées comme des outils de contrôle de qualité. Mais alors, il faut admettre que c’est le choix du mode de rémunération des prestataires (capitation, tiers payant, paiement groupé des actes, allocation globale au prestataire, etc.) qui dicte celui des choix technologiques.
Par la suite, s’en est suivie une communication sur l’impact de l’introduction de l’assurance maladie subventionnée sur la qualité des services dans l’État du Kwara au Nigeria. A la faveur de ce programme, l’agence de gestion de l’assurance maladie a progressivement fait évoluer les outils de travail; des formulaires sur papier au départ et des données collectées sur des feuilles EXCEL, l’on est passé petit à petit à la codification de procédures et à l’installation de base de données ACCESS et actuellement l’agence utilise deux systèmes de gestion non encore interopérables. Mais, il est prévu l’intégration de la solution de gestion des assurés et celle de la gestion des opérations assurantielles.
La deuxième session de la journée a été l’occasion de familiariser les participants avec les nouveaux outils technologiques pour le financement basé sur la performance. A commencer par Mganga.net, une solution construite autour d’un terminal de paiement sécurisé procédant à l’identification par carte à puce ou données biométriques (empreinte) qui fait la transmission des données par satellite (technologie GPRS). REC, un logiciel qui fait office de registre électronique de consultation a également été présenté. Cet outil codifie toutes les étapes du diagnostic de l’enfant (0 à 5 ans) durant lesquelles l’utilisateur saisit les données sur l’enfant et le logiciel contrôle l’exhaustivité et la cohérence des données. Ce logiciel permet également un contrôle quantitatif et qualitatif (profilage saisonnier, concordance géographique, temporalité, symptomatologie associée aux maladies, ..) des données saisies. Enfin, il établit les statistiques et produit des rapports fiables à la demande.
L’audience a également suivi une démonstration sur les méthodes de traçage des événements et des entités dans la solution DHIS2. Cette fonctionnalité au départ utilisée pour le suivi rapproché de profils spécifiques de personnes (femmes enceintes par exemple) a été étendue et généralisée pour gérer le statut des entités (les équipements, les échantillons de laboratoire, les bâtiments, etc.). Enfin, les participants ont pu s’imprégner du fonctionnement d’un outil d’analyse des données d’enquête nommé LimeSurvey, utilisé pour les évaluations des centres de santé concernés par l’accréditation et le financement basé sur la performance.
Le troisième thème débattu aura été l’apport des technologies dans la vérification et la redevabilité sociale. Les discussions étaient axées sur les modalités de prise en compte des avis des usagers dans le processus de vérification des services censés consommés par les usagers. Les informations collectées à ce niveau concernent l’accueil, le délai d’attente, la disponibilité des médicaments, les procédures de paiement et éventuellement d’autres suggestions visant à améliorer la qualité des soins. Et les avis recueillis doivent être intégrés lors de la conception du plan d’action qualité.
Ensuite, le concept de “Communautés épanouissantes” a été introduit dans le débat par un représentant de l’ONG Cordaid. Ce concept vise à créer des espaces où les populations peuvent vivre dans la dignité, en sécurité, avoir la liberté d’élever leur voix et avoir accès aux opportunités pour s’auto-réaliser et participer à la vie sociale, économique, culturelle et spirituelle. Ce qui ne saurait être réalisé sans inscrire la redevabilité sociale au cœur de sa stratégie d’intervention en faveur des communautés. Ainsi, Cordaid a créé un espace ouvert et transparent (OpenData) sur Internet dans lequel elle publie les données relatives à ses interventions afin qu’elles soient visibles aux donateurs, aux gouvernements et au public.Avec toutes les leçons apprises dans la mise en œuvre de ses différents projets, Cordaid en est arrivée à développer un indexe de communautés épanouissantes qu’elle espère promouvoir comme alternative aux instruments actuels de mesure de bien-être.
La troisième communication de cette session portait sur la méthodologie de collecte et d’analyse des données pour l’évaluation de programmes sociaux qui vise à mesurer l’efficience des campagnes sociales sur les changements de comportement, à fournir des résultats susceptibles d’orienter les amendements aux politiques courantes. Enfin, la dernière communication de cette session portait sur la place de la communication dans le financement basé sur la performance au Bénin. Les personnes visées sont les bénéficiaires des soins de santé, professionnels de santé, membres du Gouvernement, Partenaires Techniques et Financiers, députés à l’Assemblée Nationale, élus locaux, les organisations à base communautaire (OBC), les responsables de groupements de femmes, de jeunes et de groupes d’intérêts économiques, les médias, les leaders d’opinion et enfin les chefs traditionnels et de cultes, les leaders religieux, les autorités politiques et administratives.
Une dernière session a été encore consacrée à la présentation des outils. Les participants ont pu avoir des explications sur le fonctionnement d’un logiciel de gestion des mutuelles communautaires au Rwanda qui fait l’enregistrement des adhérents et des membres de famille. Ce logiciel permet également le calcul des primes d’assurance sur la base de la nouvelle catégorisation des ménages selon le niveau de revenu et le suivi individualisé de la situation des cotisations réellement versées. Un autre logiciel, cette fois-ci utilisé dans les centres de santé et permettant l’envoi de résultats d’analyse de laboratoire par SMS, a été dévoilé à l’audience. La solution appelée GenXchangePBF traite les résultats d’analyse effectuée dans un laboratoire et permet de générer automatiquement des SMS pour en informer le patient et le médecin référant. En cas de résultat positif, le patient peut être convoqué au centre de santé pour être pris en charge rapidement et démarrer sa thérapie.
Enfin, les participants ont pu appréhender le fonctionnement d’un troisième logiciel dénommé QuIC. Le logiciel en question est une application mobile développée pour évaluer rapidement l’aptitude des centres de santé à fournir des soins obstétricaux et néonataux d’urgence de qualité. L’outil permet la collecte, l’analyse et la restitution rapidement des données d’évaluation. Il se présente sous forme de questionnaires d’enquête électronique à remplir et à la fin de l’évaluation, détermine un score qualité
Au terme de chaque série de présentations, les participants ont pu poser des questions d’éclaircissement et/ou donner des opinions, partager leur propre expérience. Au cours des débats, il a beaucoup été question de l’impact de l’utilisation des technologies sur l’organisation du travail dans les centres de santé, les stratégies de sécurisation des données collectées sur les patients, les moyens de prévention contre le piratage informatique, de la prise en compte des spécificités locales dans le choix des supports d’enquête, la gestion de la confidentialité des données collectées lors des enquêtes.
Au terme de la journée, l’on peut retenir les points suivants :
1) La question de l’utilisation des technologies doit être prise en compte très tôt dans les programmes de réforme pour permettre une vraie efficience. Pour y parvenir, il est nécessaire d’établir une vision commune, claire sur la situation désirée à long terme. Mais ceci suppose que les parties prenantes parlent le même langage, s’accordent sur les bénéfices prioritaires à observer. En cela, les objectifs opérationnels et de politiques doivent être alignés.
2) Il est tout aussi important de bien cibler les investissements nécessaires. Car ce sont les choix opérationnels qui vont guider les choix de technologies à implémenter d’où l’impérieuse nécessité de bien planifier les différentes séquences du déploiement.
3) L’utilisation exacerbée des technologies risque de dénaturer la relation des praticiens aux patients qui est une dimension essentielle de la prise en charge. Si l’on ne prend pas garde, le risque est que les agents de santé ne deviennent que de simples assistants de saisie informatique.
4) Les personnes les plus pauvres et vulnérables demeurent celles qui sont les difficilement accessibles avec les outils technologiques de collecte de données. Or leurs avis sont absolument importants dans la mesure où beaucoup de programme les cible justement.
5) La flexibilisation est un enjeu essentiel de l’utilisation des technologies de l’information dans les programmes de santé. En effet, l’on ne peut pas atteindre toutes les cibles avec un seul outil. D’où la nécessité de s’adapter et de changer d’approche lorsque l’audience ne répond pas à une méthode donnée.
Presentation 1: JLN Provider Payment
Orator: Caren Althauser
Presentation 2: Providing access to affordable and quality healthcare on a long-term basis
Orator: Alhaji Ayinla
Presentation 3: The role of subsidized health in promoting access to affordable quality health care
Orator: PharmAccess
Presentation 4: IT in health insurance
Orator: PharmAccess
Synthesis of Session 1, 3rd day
Presentation 1: IT solution in financial management of primary Health Care-MgangaNet Solution
Orators: Christian Habineza and Maurice Bagaragaza
Presentation 2: REC_Data-driven Performance evaluation
Orator: Guillaume Deflaux
Presentation 3: Tracking entities
Orator: Knut Staring
Presentation 4: LimeSurveyTool for Accreditation and PBF Assessments
Orator: Mayindo Kagubare
Synthesis of Session 2, 3rd day
Presentation 1: RBF and utilization of patient’s feedback
Orator: Matthieu Antony
Presentation 2: Cordaid datastrategy and pilots
Orator: Kees Van Rossenberg
Presentation 3: TTC Data Collection
Orator: Ian Wamara
Presentation 4: Stratégie de communication FBR Bénin
Orator: Reece-Hermine Adanwennon
Synthesis of Session 3, 3rd Day
Presentation 1: CBHI Membership Management System in Rwanda
Orator: Joseph Shema and Cédric Ndizeye
Presentation 2: QuIC-Quality of Institutional Care
Orator: Luke Boddam-Whetham
Presentation 3: Systèmes de rapportage des données par SMS-RDC
Orator: Benjamin Nyange
Presentation 4: Open Data Kit-Data collection via Android
Orator: Elodie Macouillard
Synthesis of Session 4, 3rd Day
Rapporteur : Cheickna TOURE
La deuxième journée de l’atelier était articulé autours de trois sessions. Le matin, on a abordé le thème de l’interopérabilité des systèmes d’information, c’est-à-dire de la possibilité pour les systèmes installés d’échanger des données entre eux. Ce besoin d’interopérabilité naît en fait de la volonté de toujours enrichir les données disponibles et d’être capable de les comparer les unes par rapport aux autres.La question de l’interopérabilité est de plus en plus cruciale à la mesure de la multiplication et de la maturation des systèmes d’information. Pour engager les réflexions sur la manière de rendre interopérables les systèmes, l’audience a eu droit à quatre présentations.
La première était axée sur la façon dont le Rwanda en est arrivé à concevoir un schéma directeur d’informatisation dans le secteur de la santé comme réponse globale pour canaliser le développement des systèmes informatiques. La seconde a montré l’approche méthodologique développée par le réseau d’apprentissage conjoint (Joint Learning Network JLN) pour confectionner un dictionnaire de données de santé qui permet de disposer d’un outil de collecte et d’échange cohérent, précis et systématique des données. La troisième a porté sur une expérience pratique de communication entre une application de gestion hospitalière et les services du Trésor public au Mali. La dernière a abordé les initiatives en cours au niveau régional et sous régional d’intégration des données des systèmes d’information sanitaire.
La deuxième session a été mise à profit pour montrer aux participants la variété d’outils technologiques utilisés dans le secteur de la santé. L’audience a été divisée en deux groupes qui ont pu voir d’un côté les outils de restitution et de visualisation des données et de l’autre, les technologies mobiles. Les premiers ont eu droit à des démonstrations sur OpenRBF, DHIS2 et Excel database. Ils ont pu s’exercer à créer, concevoir et visualiser des tableaux de bord selon les préférences, effectuer des recherches de données, personnaliser la présentation des écrans de visualisation, partager un écran de visualisation, etc. Les seconds ont suivi une communication sur l’utilisation de la téléphonie dans le cadre d’un programme de santé maternelle en Tanzanie ciblant les femmes enceintes et allaitantes en premier lieu ainsi que leurs supporteurs en second lieu.
La troisième session était consacrée aux paiements mobiles. Elle s’est déroulée en plénière pendant laquelle il a été tout d’abord question de ciblage et de transfert d’argent aux plus vulnérables au Burundi. Il s’agit d’un programme qui vise à aider les personnes les plus vulnérables à sortir de la pauvreté pour devenir des citoyens productifs. Après le ciblage suite à une enquête de base, les bénéficiaires sont inscrits au programme et reçoivent un téléphone portable et une formation à l’utilisation du service de transfert d’argent ECOCASH. L’argent reçu est utilisé pour faire face à leurs besoins les plus élémentaires (alimentation, habillement, soins de santé, …) mais au fil du temps, dans des activités génératrices de revenu.
Une autre expérience de paiement par téléphonie mobile au Mali a également été partagée. Il a été question de proposer une nouvelle application du service de transfert d’argent OrangeMoney pour payer les primes de cotisation aux mutuelles. La dernière présentation s’est vue comme le partage d’un retour d’expériences sur les facteurs clés de réussite de projets de paiement mobile en Afrique. Ces facteurs tiennent à la disponibilité d’un réseau étendu de distribution de service (point de dépôt / retrait), à une solide assise financière et un engagement entrepreneurial des promoteurs, à un solide service clientèle, à une campagne marketing agressive et l’utilisation de technologie appropriée.
A la fin des présentations, les participants ont systématiquement eu l’opportunité d’être davantage éclairés sur les centres d’intérêts particuliers. Les sujets abordés avaient trait à la couverture du réseau téléphonique qui reste limitée et ne permet donc pas d’atteindre toutes les personnes dans le besoin, aux barrières d’acceptation culturelle de certains programmes, aux problèmes liés à la compréhension des modalités d’utilisation de la monnaie mobile par les usagers et de ses potentiels bénéfices, à la concurrence acharnée sur l’offre en service de monnaie mobile, le niveau des coûts de service prélevés par les opérateurs mobiles.
Au terme de la journée, l’on peut retenir les points suivants :
1) Tous les pays doivent travailler à développer un ensemble minimum de taxonomie pour faciliter l’interopérabilité de leurs systèmes informatiques. De plus, il serait utile que ce travail soit prolongé par l’adoption de dictionnaires de données pour la santé pour faciliter le dialogue entre les différents acteurs du système de santé sur la base de terminologies communément admises.
2) Toutes les solutions informatiques développées doivent prévoir leur interopérabilité dès la conception. A ce titre, les maîtrises d’ouvrage doivent veiller à ce que l’interopérabilité fasse partie des critères de sélection des solutions à adopter et que cela figure dans les cahiers de charge.
3) Les organisations régionales et sous régionales de santé peuvent être des catalyseurs pour encourager les pays à adopter des systèmes ouverts capables de générer des données exportables et comparables avec ceux d’autres systèmes.
4) Les outils de visualisation sont simples à prendre en main et ne nécessitent pas d’expertise particulière en informatique. Les supports de restitution (tableaux de bord, graphes, courbes, ..) sont personnalisables et peuvent être exportés suivant divers formats.
5) La téléphonie mobile est efficace pour atteindre les populations pauvres; elle permet même d’informer celles qui sont coupées des autres moyens de communication. Cependant les plus vulnérables restent exclues à cause de leur incapacité financière à accéder aux équipements. Et il existe encore des zones non desservies par la couverture en signal mobile. D’où la nécessité d’investir encore dans l’extension de la couverture des réseaux téléphoniques.
6) La démocratisation de la téléphonie mobile avec comme corollaire la baisse des coûts laisse entrevoir un large accès aux populations à couvrir. Mais elle ne permet de toucher l’ensemble de la population à cause entre autres de l’illettrisme, de l’indigence, etc. D’où la nécessité d’adapter les services proposés aux habitudes et comportements sociaux des personnes cibles (adaptation des langues de communication, adaptation des moments d’envoi des SMS …).
Presentation 1: Introduction to Interoperability Session
Orator: Randy Wilson
Presentation 2: The Open Health Data Dictionary Tool – JLN
Orator : Caren Althauser
Presentation 3: Mali – Interopérabilité entre systèmes de gestion hospitaliers et le ministère des finances
Orator: Dr Ousmane LY
Presentation 4: Interoperability BlueSquare DHIS: Connecting RBF data systems
Orator: Antoine Legrand and Knut Staring
Synthesis Day 2 Session 1, reported by Cheickna TOURE
Presentation 1: Dashboard & Datavizualisation
Orator: Nicolas de Borman
Presentation 2: TTC with Wazazi Nipendeni for Save the Children
Orator: Ian Wamara
Presentation 1: Graduation Model Programme-Concern Burundi
Orator: Isaac Gahungu
Presentation 2: Paiement par mobile – Étude de cas Mali
Orator: Cheickna Touré
Presentation 3: TTC – MOBILE MONEY solutions for financial access to health services
Orator: Ian Wamara
Synthesis Day 2 Session 3, reported by Cheickna TOURE
The sessions began on Monday 28th in a very good ambiance, alternating plenary sessions, creative relaxation moments and question-and-answer session. We will share here under the PPT presentations of the first day.
Rapporteur : Cheickna TOURE
Intervenant(s) : Nicolas De Borman, Président du Comité d’Organisation, Madame Chloë Ndayikunda, Assistante du Ministre de la Santé Publique et de la lutte contre le SIDA du Burundi.
La cérémonie d’ouverture des travaux a été marquée par deux interventions : la première par le Président du Comité d’Organisation Nicolas De Borman et la seconde par Madame Chloë Ndayikunda, Assistante du Ministre de la Santé Publique et de la Lutte contre le SIDA qui a exprimé sa joie que le Burundi accueille le présent atelier. Avant de déclarer l’ouverture officielle des travaux, l’Assistante du Ministre s’est dite confiante dans les conclusions du présent atelier qui aideront certainement son pays à saisir toutes les opportunités que les nouvelles technologies vont apporter, mais encore à anticiper les nouveaux défis qu’elles ne manqueront pas de susciter.
La première session de la journée a débuté par une présentation de Nicolas De Borman qui a traité des technologies actuellement utilisées pour le financement basé sur les résultats et sur la manière dont elles peuvent davantage relever leur efficacité et leur gouvernance. Le présentateur fait d’emblée remarquer que l’utilisation des technologies, aussi bien le développement de l’assurance maladie, les réformes du financement de la santé, visent tous à progresser vers la couverture maladie universelle. Parlant des outils utilisés dans de nombreux pays africains et même au delà, il a fait mention sans exclusivité d’OpenRBF, DHIS, Excel etc. tout en relevant les caractéristiques fonctionnelles de ces différentes applications, les possibilités qu’elles offrent en termes de gestion des données, de capacité à améliorer le fonctionnement des systèmes de santé, à rehausser la redevabilité et la transparence.
Quant à Caren Althauser, elle a mis en lumière le travail réalisé par le réseau d’apprentissage entre pairs (Joint Learning Network JLN) qui regroupe neuf pays africains et asiatiques engagés sur le chemin de la couverture maladie universelle. Elle a aussi décrit les thématiques auxquelles JLN s’intéresse et exposé la façon dont les agences partenaires soutiennent les initiatives développées par les pays membres. Elle a identifié une série de sujets (ciblage des plus pauvres, méthodologies de rémunération des prestataires, normes et interopérabilité, analyse des données, restitution et indicateurs clés, ..) qui pourraient être des pistes d’investigation conjointe entre la communauté des pratiques et JLN.
Enfin, Luke Boddam-Whetham a évoqué les différents instruments utilisés aujourd’hui comme les transferts conditionnels d’argent, les bons de service ou de bien, l’assurance maladie, etc. Il a vite montré quelques exemples d’utilisation de la téléphonie mobile pour toucher les populations les plus vulnérables et/ou exclues des services de santé. Il a fait prendre conscience des avantages que procure l’utilisation des technologies pour améliorer l’efficacité de tels programmes mis en place en terme de rapidité de collecte et d’analyse des données, de précision et promptitude à prendre des décisions, de renforcement des capacités d’intervention des agents de santé mais également de nouvelles possibilités de soutien et d’intervention à distance.
La deuxième session était consacrée à la présentation des outils technologiques. Alfred Antoine Uzabkiliho a présenté OpenRBF qui est une application web utilisée au Burundi et en RDC. Randy Wilson a montré DHIS2, également une application web utilisée au Rwanda. Antoine LeGrand a présenté l’application DHIS2 utilisé dans un projet FBR au Laos. Judith Schoot Uiterkamp et Luke Boddam Whetham ont respectivement fait une communication sur le développement d’un système d’information sanitaire intégré au Zimbabwe et sur l’expérience de MSI pour la gestion électronique des bons (voucher) en Éthiopie.
La dernière session de la journée a été consacrée à des démonstrations en parallèle d’une part sur OpenRBF et DHIS2 et d’autre part sur l’e-Voucher ou bon électronique, ses modalités d’application dans les pays, le système IT utilisé. Les principaux centres d’intérêts tournaient autour de la complémentarité éventuelle entre le voucher traditionnel et l’e-voucher ou les divergences entre ces deux applications du ciblage, l’efficacité comparée d’après les retours d’expériences.
Beaucoup de discussions s’en sont suivies dans les différentes sessions et même au délà lors des pauses.
Au terme de la journée, l’on peut retenir les points suivants :
1) La démocratisation de la téléphonie mobile en Afrique et de l’Internet dans une moindre mesure constitue à n’en pas douter, une grande opportunité pour améliorer la performance des systèmes de santé.
2) Pour résoudre les problèmes d’accessibilité au réseau internet, les pays et les agents chargés de la gestion des données doivent faire preuve d’engagement et surtout de créativité.
3) De nombreuses initiatives développées dans différents pays méritent d’être mises en contact pour forger la créativité et booster l’intérêt pour l’utilisation des technologies dans le secteur de la santé. Mais il n’existe de solution standard adaptée à toutes les situations; chaque pays doit faire son choix en fonction de la complexité de son système de gestion.
4) Pour les pays qui utilisent plusieurs outils, il est important d’engager les réflexions et les efforts sur l’interopérabilité des différents systèmes qui sont pour le coup, plus complémentaires que concurrents.
5) Des relations doivent être nécessairement établies entre les données du SNIS et celles générées par les systèmes FBR et ceci varie selon les politiques développées. Il en est de même pour ce qui concerne le niveau de responsabilité pour les personnes chargées de renseigner les bases de données. Chaque pays doit veiller à inscrire les dispositions propres à faciliter la complétude des données du SNIS dans les documents projets ou de cadrage.
6) Les portails FBR à n’en point doute sont des outils de transparence mais également de mobilisation d’autres partenaires. Sur ces portails le flux d’argent que génèrent les résultats produits en termes de qualité et de quantités de soins sont visibles. Mais c’est de cette façon que l’on améliore l’implication des parties prenantes au dispositif et la confiance des bailleurs et des usagers.
7) La problématique de la sécurité informatique doit être abordée suffisamment en amont des projets jusque dans les cahiers de charge destinés à la maitrise d’œuvre.
8) Il existe encore des limites d’accès financier aux technologies, des facteurs de résistance au changement que les politiques publiques doivent atténuer dans le cadre d’une vision d’investissement dans l’avenir.
9) Pour les pays intéressés par l’installation de nouveaux systèmes, le benchmarking avec les précurseurs est un excellent moyen de se voir une idée sur les coûts ainsi permet de les réduire.
Presentation 1: ICT Supply side RBF
Orator: Nicolas de Borman
Presentation 2: Demand Side Financing and ICT
Orator: Luke Boddam-Whetham
Presentation 3: JLN Overview for PBF CoP
Orator: Caren Althauser
Synthèse Jour 1 Session 1, reported by Cheickna TOURE
Presentation 1: PBF maintenance module on DHIS2-Laos
Orator: Antoine Legrand
Presentation 2: DHIS2 PBF Module Rwanda
Orator: Randy Wilson
Presentation 3: E-vouchers
Orator: Luke Boddam-Whetham
Presentation 4: From Voucher to e-vouching, For Maternal Healthcare in Zimbabwe
Orator: Judith Schoot Uiterkamp
Presentation 5: Supply Side RBF IT Solution: Burundi and DRC OpenRBF case study
Orator: Alfred Antoine Uzabakiliho
Synthèse Jour 1 Session 2, reported by Cheickna TOURE
Synthesis of session 3-A : Demonstration of OpenRBF and DHIS2, reported by Cheickna Touré
Synthèse Jour 1 Session 3.B : Discussion about e-voucher
Do you think that new technologies can boost efficiency and good governance in RBF systems? You have ideas or experiences to share? Join us in a technical meeting of the Performance-Based-Financing Community of Practice organized from 28th April to 1st May 2014 in Bujumbura, Burundi.
You can access the detailed program here.
Towards a more efficient health sector in Africa
For many years now, multiple countries in Africa have engaged in large-scale health financing reform for improving health outcomes. Result Based Financing is frequently at the heart of these reforms with countries adopting both supply side (such as PBF) and demand side RBF mechanisms (such as conditional cash transfers and vouchers).
Both supply side and demand side systems rely on effective data systems that need to be supported by adequate technology platforms.
In supply side RBF systems, information technology (IT) is used for administrative management of RBF/PBF such as decentralized result declaration, RBF subsidies calculations, managing verification processes or production of bank transfer orders. Information technology is also used for strategic purchasing, budget follow up, and transparency and benchmarking. Currently, countries use a set of web based open source instruments such as OpenRBF or DHIS2 or sometimes stand alone technical solutions. For example, you can visualize RBF data from Zambia, Benin, or Burundi.
In demand side systems, IT is used for conditional cash transfers (CCT) and voucher management. The features of the CCT and voucher system include: patient follow up, provider accreditation, voucher and fraud tracking, budget follow up and reseller management. Currently, projects and countries use a broad set of IT instruments.
Why a technical meeting on ICT and Result based financing?
New technologies are already used in existing Result Based Financing systems. Cloud computing has improved data flows, reduced transaction costs and facilitated financial transfers. Mobile phones are facilitating demand side financing instruments. But future RBF systems will even more rely on new technologies.
New projects are going in several directions. For example, countries are starting to explore how to better share verified RBF data with the general public, partners and authorities. This requires the development of specific web dashboards and data visualization instruments that Cameroon, Benin and Burundi are currently piloting. Data could also be shared in an active way by email or text messages. Vouchers scheme are migrating to eVouchers, and the voucher coupons are becoming text message codes. Some projects are trying to reinvent community participation: patients will be allowed to send their feedback about providers by mobile phone and the comment will be displayed on the public OpenRBF provider webpage. Other projects aims to use smartphones to collect patient feedback and verification data, or tablets for quality assessment of providers.
The potential of new technologies is obvious. It is the right time to work together on how these technologies can be harnessed effectively to boost health outcomes.
Share your experience, learn from your peers
The objective of this meeting is that CoP members share new technological developments, implementation experiences, identify shared issues and problems, draw best practices. Like any other CoP events, we expect fruitful interactions, interesting encounters and multiple new ideas.
During the meeting, we will also test the idea to create a working group within the RBF CoP that will take the lead on new technologies for RBF.
If you want to know more details, please check the detailed program.
If you are interested in the meeting, please register here or fill the registration form at http://goo.gl/lXvYEH
Nicolas de Borman, Alfred Antoine Uzabakaliho, Cheikna Toure, Randy Wilson and Olivier Basenya
Being a novice to the field of Performance Based Financing (PBF), this interesting two day workshop brought quite some new insights to me, but also raised many questions. Does paying for performance crowd out intrinsic motivation? Are the poor benefiting most from PBF, or do these schemes mostly cater for the better off? If PBF increases health care utilization, does it do so in a cost-effective way, compared to the traditional input based financing? Many interesting questions, ideas for research, … but, being a quantitative researcher, the most burning question on my mind is whether indeed PBF has a substantial impact on access to quality care in low and middle income countries. Prove of the impact of PBF is also urgently called upon by a recent Cochrane review, but robust impact evaluations seem hindered by the complexity of the intervention. This blog summarises our discussions in Bergen.
Let’s first make sure we got the research question right. “Does PBF work?” is too simple.
For whom does it work? Which populations are we interested in? Patients using the health facilities, all households in catchment areas, poor or better off individuals? Defining the right target population is important for data collection. Exit interviews reveal valuable information about patient experiences but are limited to users of care, household surveys provide a more general picture, but might be hard to link to facility information; average effects may mask important inequities.
What do we mean by PBF? Various terminologies like PBF, P4P, RBF and contracting are often used interchangeably while such programs can vary to a great extent. In Bergen, practitioners stressed several key features. Let’s agree here that with ‘PBF’ we mean programs including incentivized payments, additional financial resources, reinforced supervision and increased managerial autonomy.
Works compared to what? Are we interested in evaluating PBF against the counterfactual of traditional input based financing, holding resources constant or at least equal – the incentive effect? Or do we want to measure average effects of the complete PBF program – resource and incentive effect? This distinction obviously has important consequences for defining an appropriate counterfactual and knowing what we capture.
Works to achieve what? What are the important hypotheses, and main outcomes of interest? To avoid ending up testing for a significant effect on each (of the many!) incentivized outcomes, and finding some effects by chance only, researchers should be more transparent about the main hypotheses that they want to test before conducting the study.
Once we agree on the research question, let’s see how it can be answered in a scientifically rigorous and robust way. Let’s go through the standard impact evaluation toolbox:
We agreed that the simplest thing to do is to compare districts/facilities with PBF to those without PBF. Easy enough, but the difference between both can be driven by many things other than the PBF intervention, so drawing causal conclusions is really not possible here.
We could compare outcomes from within the same district/facility from a period before PBF to a period after. While this approach is useful for monitoring purposes, and therefore typically embedded in the project cycle of PBF, it leaves room for too many factors other than PBF (e.g. other nationwide programs) to drive the change to really claim causality.
To be able to net out the effect of such nationwide changes that might bias the before-after comparison of PBF, we can compare the trend in outcomes in PBF facilities/districts to the trend in other, non-PBF, facilities/districts and only attribute the difference between both trends to the PBF intervention. In Bergen, some presented studies used the so-called difference-in-differences design. Basically, the non-PBF units (controls) serve as a counterfactual for what would have happened to the PBF’ed ones (treated) should there have been no PBF. This design can produce very robust impact estimates, but the validity of the counterfactual is crucial. Many of the controlled before-after studies that were presented in Bergen showed baseline differences between treated and controls that were much larger than the PBF effects identified. Furthermore, many of these effects seemed to derive from a negative trend among the controls, and not so much from huge increases among the treated. This does raise questions about comparability. When a country moves forward with PBF in some areas it is possible that attention/resources are being reduced in the ‘control’ areas, hereby biasing the counterfactual. In such instances, contextual and more qualitative information is crucial to build up credibility in the estimate.
Ideally, the allocation of districts/facilities to control or intervention is done randomly to make sure that there are no systematic differences between them – the so called Randomized Controlled Trial (RCT).
While the argument often made that it is unethical to randomize subjects in social policy experiments seems not justified – in fact there’s nothing more ethical than tossing a coin if you don’t have the resources to cater to everyone in one go – RCTs can be challenging in practice.
Randomization seems politically difficult. How to explain to some districts/facilities that they will have to wait, how to convince local health officials/providers that the assignment was done in a fair way? Transparency of the randomization process is crucial and can go a long way in mitigating these difficulties.
Another challenge relates to the design of the RCT. Randomization really only works if there is a sufficient number of units to sample from. Randomly drawing 200 from a total of 500 facilities obviously works better than drawing two provinces from a total of 5. A lower level of randomization not only ensures a higher degree of comparability between treated and controls but also increases statistical power, i.e. it is easier to pick up small effects that are statistically significant.
So ideally researchers would want to randomize facilities into a PBF program. But is PBF really a facility level intervention, as it not only changes the way in which providers are rewarded and monitored but also the ways in which districts supervise and operate? While it may be difficult – but not impossible? – to evaluate the entire PBF program through randomization at the facility level, an RCT design can be very feasible to identify effects of program components. For example, a design in which randomly chosen treated facilities obtain the full PBF program, while controls (in the same area) only receive the additional supervision, managerial autonomy and financial resources could very well identify the effect of paying for performance only. Such a design is currently under test in Cameroon, but some practitioners have been really harsh at such designs, which may be a nightmare for PBF implementers and district managers.
A more acceptable design is to randomly vary the fee structure across facilities within the district. This could be a way to identify the optimal reward scheme (but will not answer the question whether PBF works). There are some nice possible sophistications, such as randomly adding bonuses for equity-targets to existing PBF programs in some facilities, which can allow to identify their effects on the distributional impact of PBF, etc. This is the research design Burkina Faso is heading for.
Another method to evaluate the effects of PBF is interrupted time series analysis – two studies presented in Bergen used this technique. Basically the idea is to look for kinks in high frequency (administrative) data that coincide with the starting date of the PBF program. Ideally this is compared to data from a control group in which no such kink is evident. These studies can be quite convincing, but are subject to some constraints. First, one needs high quality and frequently collected data. Second, to convincingly attribute the kink in any trend to the PBF program, it is important to establish that this trend has been relatively stable prior to the intervention. Third, as an important component of any PBF program is to improve the reporting and verification of the health care system, we need to be careful interpreting the kink in the trend in reported outcomes as this may be very well due to facilities having improved their registration of services provided, rather than having increased the volume. So while looking at time series can be useful and powerful to evaluate modifications to PBF programs that do not touch on the monitoring system, they may be less suitable to evaluate entire PBF programs. Yet, in some settings, it may prove to be the main design available. It could also be an interesting track in countries where data reliability has already been improved. This could be the case for instance in Burundi, where the forthcoming impact evaluation will look at the addition of new indicators within a nationwide PBF system.
Finally, it may be worthwhile for researchers to consider using secondary data for evaluating PBF programs. Supplementing household survey data that is collected for many countries on a regularly basis (like the Demographic and Health Surveys, or Households Living Standards Measurement Surveys) with information on the (sequential) PBF rollout can reveal robust results if appropriate statistical techniques are used to correct for the non-randomized rollout.
A lot of research questions related to PBF, a lot of methods to use, so what are we waiting for? Well from the Bergen workshop I realized ‘we’ are not waiting at all. Research teams from LSHTM and Heidelberg University talked about interesting impact evaluations currently being done in Tanzania and Malawi, and also the World Bank is currently funding a large number of impact evaluations. It would be useful if such projects will not only contribute to the evidence base on the effects of PBF, but also to the evidence base on the practicalities of setting up prospective studies (see also here). It seems like many of these efforts are unnecessarily duplicated because this information is not easily available to researchers setting up new impact evaluations. These new evaluations are indeed needed to establish whether paying for performance is a cost-effective way of increasing access to good health care, but also to find out how the incentives should be designed to get the biggest bang for the buck.
