“Un audit clinico dovrebbe essere svolto da valutatori esterni e neutrali”

Questa affermazione è piuttosto ricorrente, spesso per mettere in dubbio la validità dei risultati emersi in un progetto di audit clinico.
L’affermazione fa implicito riferimento alla possibilità che possa esistere un bias che abbia influenzato la qualità dei dati raccolti e quindi anche le conclusioni tratte sulla base di questi.
Proviamo a chiarire, in primo luogo, di cosa si stia parlando in merito a questo “bias”:
– il vocabolario Treccani colloca l’origine del termine “bias” nella lingua provenzale, con il significato “obliquità, inclinazione, tendenza, usato con significati specifici in varie discipline (tendenza a deviare dal valore medio in statistica, polarizzazione in meccanica e in elettronica, ecc.)”,
– nella ricerca clinica i bias vengono definiti come errori sistematici che favoriscono un esito rispetto ad altri e possono portare a conclusioni errate.
Nella fattispecie, si fa riferimento al “bias dell’osservatore o dell’investigatore”, secondo cui ogni persona vede ciò che si aspetta di vedere. Questo principio è noto nella Psicologia Sociale almeno dalle ricerche di Rosenthal che ha ampiamente studiato come le convinzioni degli sperimentatori e dei soggetti sperimentali possano influenzare la realtà e dare origine a una “profezia che si autoavvera”.

Questi ‘caveat’ metodologici sono importantissimi nell’ambito della ricerca clinica; la trasposizione nel mondo dell’audit clinico può originare dal pensiero che, in fondo, l’audit sarebbe una specie di studio osservazionale (abbiamo trattato questo equivoco nel Luglio 2013).

E’ fuori di dubbio che la qualità dei dati in un audit clinico deve essere alta; tant’è che Wade nel 2005 afferma “standards expected of audit in terms of design, data collection, and analysis should be at least as high as for research”. Dobbiamo chiederci, però, quale sia il prezzo da pagare per la qualità dei dati. E qui subentrano nuovamente ragionamenti di Psicologia Sociale: se la raccolta e analisi dei dati vengono effettuati da persone esterne alla realtà clinica (reparto, servizio, struttura, ambulatorio) sulla cui pratica verte l’audit, si genera inevitabilmente un atteggiamento di diffidenza nei professionisti nei confronti degli estranei, e, di conseguenza, una minore propensione alla collaborazione ed al cambiamento. Questo atteggiamento sarebbe ancora più forte se, addirittura, anche la progettazione dell’audit fosse svolta da estranei.
A grandi linee, possiamo delineare i vantaggi e svantaggi della partecipazione di estranei all’audit così:
– vantaggi: maggiore attenzione e neutralità nella raccolta dati, riduzione del bias dell’osservatore, maggiore qualità dei dati, eventualmente presenza di competenze particolari (p.e. statistica, conduzione del gruppo)
– svantaggi: minore conoscenza del contesto clinico specifico e delle fonti dei dati, rischio di diffidenza da parte dei professionisti e quindi minor propensione al cambiamento.
Se l’audit clinico non è uno studio clinico, ma un progetto di miglioramento, dobbiamo trovare un adeguato bilanciamento fra la qualità dei dati e la motivazione al miglioramento.

Va aggiunto che un’altra variabile può essere di grande importanza: da chi è partita l’idea dell’audit ? Se lo spunto proviene dai professionisti interni, la motivazione sarà presumibilmente alta. Se, addirittura, gli stessi professionisti sentono l’esigenza di chiamare colleghi esterni per integrare particolari competenze o per evitare il bias dell’osservatore, le condizioni per la riuscita dell’audit sono ideali. Se l’idea dell’audit proviene “dall’alto” (dirigente, dipartimento, direzione …), gli esterni vengono inevitabilmente vissuti come “ispettori” e la motivazione per il miglioramento sarà difficile da costruire.

Riassumendo, la partecipazione di professionisti esterni può avere dei vantaggi per il miglioramento, ma l’audit non dovrebbe essere sacrificato sull’altare della qualità dei dati.

Sui bias:
http://www.treccani.it/vocabolario/bias/
Gluud LL. Bias in Clinical Intervention Research. American Journal of Epidemiology. 27 gennaio 2006;163(6):493–501.
http://handbook.cochrane.org/chapter_8/8_assessing_risk_of_bias_in_included_studies.htm

Sull’effetto “Rosenthal”:
Rosenthal R & Rabin D B., Interpersonal expectancy effects: the first 345 studies, Behavioral and Brain Sciences, 1978, 1, 377-86

Sulla qualità metodologica degli audit
Wade D.T. Ethics, audit, and research: all shades of grey. BMJ. 2005;330(26 February 2005):468–71.

“Equity audit è una forma particolare di audit clinico”

Alcune Regioni italiane stanno cercando di dare corpo al principio dell’equità, spesso enunciato, ma raramente concretizzato o verificato. L’equity audit, a volte confuso con l’audit clinico, ha alcune analogie con quest’ultimo, ma ci sono anche molte differenze.

Occorre fare una breve premessa semantica: il termine “audit” trova la propria radice etimologica nel verbo latino “audire”: udire, avere l’udito, ascoltare, sentir dire, apprendere, interpretare, sottintendere, aver fama, aver nome. Fra il 1300 ed il 1600 l’etimo entra tramite la lingua francese in quella inglese, per descrivere un’attività particolare, quella di revisione dei conti, dato che questi originariamente venivano presentati in forma orale. A tutt’oggi il significato principale del lemma inglese “audit” è quello di “an official inspection of an organization’s accounts”. Nell’ambito dell’economia aziendale il termine viene utilizzato anche in Italia con lo stesso significato.

Ma anche in altri ambiti, come quello della certificazione ISO, il concetto di “audit”, se utilizzato senza l’aggettivo “clinico”, ha il significato di “revisione, verifica, ispezione”. “Equity audit” significa pertanto “verifica sull’equità”.

L’Agenzia della Regione Emilia-Romagna, fortemente impegnata sull’Equity Audit, ha pubblicato un toolkit, che chiarisce in maniera eccellente le analogie e differenze fra Equity Audit e Audit Clinico. Le analogie sono:
– entrambi sono processi ciclici che mirano a migliorare i servizi e l’assistenza sanitaria,
– prevedono di fissare obiettivi e standard per particolari gruppi o servizi,
– sono condotti in collaborazione con partner che hanno responsabilità sui servizi e con gli operatori che erogano i servizi,
– mirano a facilitare l’apprendimento di pratiche evidence-based.

A differenza dall’audit clinico l’Equity Audit:
– è uno strumento che guarda primariamente alla popolazione residente, non agli utenti di servizi,
– si focalizza su un particolare gruppo di popolazione definito in base a età, genere, nazionalità/ paese di origine, stato socio-economico, luogo di residenza, …
– ha l’obiettivo primario di migliorare i risultati di salute dei gruppi che si rilevano più svantaggiati,
– si occupa di determinanti di salute, di assistenza sociale e sanitaria e di servizi.

http://assr.regione.emilia-romagna.it/it/aree_attivita/partecipazione-innovazione-sociale/comunita-equita/osservatorio-equita/toolkit/toolkit-5/intro-toolkit-5

La fonte originaria è:

Hamer L, Jacobson B, Flowers J, Johnstone F. Health Equity Audit Made Simple – a briefing for primary care and local strategic partnerships. NHS Health Develpoment Agency; 2003, (pag. 17),

che può essere scaricato qua:
http://www.gserve.nice.org.uk/nicemedia/documents/equityauditfinal.pdf

Il toolkit dell’Agenzia dell’Emilia Romagna dà concrete indicazioni come svolgere un equity audit, oltre a fornire ampia bibliografia di approfondimento.

“Il topic audit è una forma particolare di audit clinico che può essere usata in circostanze particolari”

Anche in questo caso una ricostruzione storica può essere di aiuto: nella letteratura internazionale il termine “topic audit” compare solo nei 3 lavori qui sotto riportati. Quello più pertinente è di Marian Mancey-Jones e Ruari F. Brugha, autori entrambi con esperienze alla prestigiosa London School of Hygiene and Tropical Medicine e con attività in paesi africani ed asiatici. Nel lavoro citato essi sostengono che il classico indicatore “tasso di mortalità perinatale” probabilmente non è sufficientemente valido, specifico ed affidabile per promuovere e sostenere attività di miglioramento della qualità. Essi propongono “l’audit perinatale” da affiancare all’uso dell’indicatore (di outcome) e spiegano che esistono sostanzialmente due forma di “audit” -ricordiamo che in inglese il termine audit significa verifica- :
– “sentinel audit” (o “critical incident audit”): una revisione ed analisi dei singoli casi in cui si sono verificati esiti avversi,
– “topic audit”: la revisione di una specifica attività assistenziale su tutti i pazienti. “Per esempio, se un ritardo nell’esecuzione del taglio cesareo viene identificato come fattore evitabile in un certo numero di morti perinatali, un audit sui tempi ‘dalla decisione alla incisione’ per tutte le pazienti potrebbe essere condotto” (pag. 186).
Quindi, il termine “topic audit” è perfettamente sovrapponibile con le correnti definizioni di audit clinico e veniva usato nel 1997 per fare una chiara distinzione rispetto al “sentinel audit”. Non vi è alcun elemento distintivo che giustificherebbe l’accezione che il “topic audit” fosse una forma particolare di audit clinico. Come già detto, il termine non ha trovato alcuna diffusione ulteriore nella comunità scientifica e professionale internazionale.

Negli altri due lavori, usciti in uno stesso numero del BMJ, in verità, il termine completo era “single topic audit”, per illustrare la compliance dei professionisti con la proposta di un audit clinico su un solo criterio, piuttosto ristretto: l’uso della vitamina B12 in Medicina Generale. Anche il termine “single topic audit” non si è ulteriormente diffuso dopo il 1995.

Mancey-Jones M, Brugha RF. Using perinatal audit to promote change: a review. Health Policy Plan. 1997 Sep;12(3):183–92.
Baker R, Robertson N, Farooqi A. Audit in general practice: factors influencing participation. BMJ. 1995 Jul 1;311(6996):31–4.
Fraser RC, Farooqi A, Sorrie R. Use of vitamin B-12 in Leicestershire practices: a single topic audit led by a medical audit advisory group. BMJ. 1995 Jul 1;311(6996):28–30.

“L’audit clinico si fa solo su criteri di processo”

Questa leggenda metropolitana riconosce due gruppi di fautori: coloro che vedono nell’audit clinico solo ed esclusivamente uno strumento per misurare il grado di implementazione delle evidenze scientifiche nella pratica clinica, e coloro che hanno fatto della frase “il medico ha l’obbligo dei mezzi, non del risultato” la guida della propria vita professionale.
Una prospettiva storica (e la storia dell’audit clinico comincia molto prima di quella della Medicina Basata sulle Evidenze) ci insegna che nella letteratura scientifica viene condotto da diversi decenni un dibattito sui “pro” e “contro” degli aspetti di processo o di esito, per determinare la qualità delle cure; si registrano periodici cambiamenti, quasi a forma sinusoidale, della prevalenza dell’uno o dell’altro orientamento. Nei primi anni questo dibattito riguardava gli indicatori e sistemi di indicatori. Con la crescente diffusione dell’Audit Clinico, si è sviluppato un analogo dibattito nelle più importanti pubblicazioni in merito.
Prima dell’avvento della Medicina Basata sulle Evidenze (EBM) molti criteri erano di esito perché i casi da conteggiare erano più facilmente identificabili (mortalità, complicanze); agli albori dell’Audit Clinico si valutavano criteri di processo “post hoc”, come per esempio l’appropriatezza di interventi chirurgici (appendicectomia, isterectomia), tramite l’esame anatomo-patologico del pezzo chirurgico. Altri criteri di processo erano difficili da identificare perché mancavano le Linee Guida, basate sulle evidenze della letteratura scientifica. In alcuni casi ci si basava sul parere di colleghi più esperti che valutavano il numero di casi “trattati correttamente” o no. Le revisioni sistematiche della letteratura che producano precise indicazioni sul comportamento professionale raccomandato, hanno reso molto più semplice ed agile la verifica rispetto a criteri di processo.
Basandoci su una revisione fatta dal compianto Piero Morosini nel 2004, possiamo affermare che i vantaggi dei criteri di processo rispetto a quelli di esito sono:
– richiedono di solito molto meno tempo e campioni più piccoli,
– è relativamente facile interpretarli e quindi individuare eventuali interventi migliorativi,
– sono di solito più accettabili da parte dei professionisti sanitari,
– ce ne sono ormai molti ‘basati sulle evidenze’, cioè relativi a comportamenti di provata efficacia.
Viceversa, i vantaggi degli indicatori di esito rispetto a quelli di processo sono che:
– si tratta ovviamente degli indicatori più importanti per i pazienti e i cittadini,
– si possono applicare anche quando non si raggiunge l’accordo sui processi (sulla cose che sarebbe meglio fare) o quando è dubbia la relazione tra processi e esiti,
– permettono di capire fino a che punto l’efficacia nella pratica differisca dall’efficacia sperimentale,
– dovrebbero essere deontologicamente e psicologicamente inevitabili. Come si fa a non volersi fare un’idea obiettiva di come stanno i pazienti che si sono trattati?”
Il gruppo di lavoro della Siquas, nella raccomandazione apposita consiglia: “nella progettazione di un audit dovrebbe essere compreso almeno un criterio di esito quando non vi sia difficoltà nel misurarlo e interpretarlo.”
Per ulteriori approfondimenti rimandiamo appunto al lavoro pubblicato dal gruppo di lavoro della Siquas:
http://www.ospfe.it/il-professionista/audit-clinico/audit-clinico/Audit_Clinico_Ebook_24_9_2014.pdf

“L’audit clinico è come uno studio osservazionale”

Capita non di rado che colleghi clinici, di fronte alla illustrazione del metodo dell’audit clinico dicano: “in fondo è la stessa cosa come uno studio sulla nostra pratica clinica, da presentare ad un convegno ! Raccolgo dati dalle cartelle cliniche, analizzo i dati con alcune tecniche statistiche e traggo conclusioni sul livello della nostra pratica.”
Questo dubbio è comune a molti clinici in tutto il mondo, da molto tempo. Infatti, l’Audit Clinico usa una metodologia scientifica per esaminare la pratica professionale; ciò è insito alla nascita stessa del metodo: P.A. Lembcke intendeva proprio applicare il metodo dell’epidemiologia non solo all’eziologia delle malattie, ma alla valutazione delle cure (1956).
La differenza fra studio osservazionale e audit clinico è l’obiettivo che ciascuno di questi si prefigge: la ricerca mira a definire una “best practice”, l’audit mira a valutare quanto sia distante la pratica corrente dalla best practice ed a migliorarla (Firth Cozens 1993, Paxton 2006).
Da questa differenza originaria derivano tutte le altre distinzioni: la ricerca si basa su ipotesi, l’audit confronta con criteri e standard predefiniti; la ricerca spesso implica nuovi tipi di trattamento, l’audit mai; la ricerca intende fare affermazioni generalizzabili su scala nazionale o internazionale, l’audit intende impattare a livello locale; la ricerca è spesso finanziata da fonti esterne, l’audit no; la ricerca coinvolge non di rado personale esterno, l’audit solo eccezionalmente; la ricerca implica l’intenzione della pubblicazione, i risultati dell’audit in genere vengono diffusi localmente; una ricerca necessita di approvazione del Comitato Etico, l’audit mai.
Nel numero 18 della newsletter erano stati indicati due fra i numerosi strumenti che aiutano i professionisti a distinguere fra progetti di ricerca (in particolare studi osservazionali) e progetti di miglioramento/audit clinici: uno dalla Gran Bretagna ed uno dagli Stati Uniti. Con l’aiuto di queste check-list i professionisti, le Direzioni Sanitarie ed i Comitati Etici possono valutare se un progetto necessita di valutazione etica o no.
. il “Simple Rules Toolkit” di Sheffield http://www.clahrc-cp.nihr.ac.uk/wp-content/uploads/2012/07/Simple-Rules-Toolkit_2.pdf , pubblicato anche da HQIP,
. la IRB QI checklist del Brigham and Women’s Hospital (affiliato alla Harvard Medical School): http://www.partners.org/phsqi/QIWeb/files/Clinical_QI_Checklist.doc (“IRB” e’ l’acronimo di Institutional Review Board, equivalente ai nostri Comitati Etici).

“L’audit clinico può essere sostituito da una ricerca automatizzata”

Questa e’ una delle illusioni destinate a trovare crescente diffusione, man mano che settori sempre piu’ ampi dell’assistenza sanitaria si avvalgono di supporti informatici per la gestione e documentazione clinica. Ovviamente, sara’ comodo sostituire lunghe e frustanti ricerche di cartelle ed il loro esame con un click del mouse. Sono individuabili, pero’, due tipi di rischio metodologico: (1) che il lavoro mentale (collettivo) della scelta e costruzione dei criteri per l’audit venga sostituito dal comodo ricorso a “tutte le variabili che sono disponibili”, con la possibilita’ di produrre ridondanza di dati invece di informazioni utili al miglioramento, (2) che, viceversa, non vengano indagate delle variabili importanti perche’ la banca-dati non li contiene.
Vorrei citare solo una piccola selezione (casuale) degli articoli che recentemente mi sono arrivati sul tavolo, a proposito di ricerche “automatizzate”:
– Vogel L. Imperfect measure of hospital safety. CMAJ, 2012, 184 (9): “la mancanza di dettagli clinici nei dati SDO e le irregolarita’ nella codifica continuano a porre un ostacolo alla compilazione di statistiche confrontabili sulla sicurezza dei pazienti.”
– Greiver M, Barnsley J, Glazier RH et al. Measuring data reliability for preventive services in electronic medical records. BMC Health Serv Res, 2012, 12: 116: ”abbiamo trovato differenze fra i cambiamenti misurati con audit su cartelle cliniche e con l’uso di banche dati amministrative… I dati estratti dalle cartelle elettroniche avevano dei limiti di affidabilita’ nella fase iniziale. Dati non affidabili interferiscono con la possibilita’ di misurare e migliorare la qualita’ dell’assistenza.”
– Jones A, Monagle JP, Peel S, et al. Validity of anaesthetic complication coding data as a clinical indicator. Aust Health Rev. 2012, 36(2), 229: “la versione australiana dell’ICD-10 mette a disposizione dati per il miglioramento della qualita’, … riassumendo informazioni dalla cartella clinica per descrivere l’episodio di ricovero ospedaliero. Abbiamo rivisto i casi identificati dal sistema automatico. I nostri risultati indicano una rilevanza limitata per la clinica e per il miglioramento della qualita’.”
– Daneshvar P, Forster AJ, Dervin GF. Accuracy of administrative coding in identifying hip and knee primary replacements and revisions. J Eval Clin Pract, 2012, 18(3), 559: “il nostro studio mostra che i codici ICD-9CM e ICD-10CM possono essere usati per analizzare l’artroplastica di anca o ginocchio… Nel grande ospedale universitario c’era un numero significativo di personale addetto alla analisi delle cartelle; percio’ ci sara’ un errore piccolo inter-ospedale. I risultati possono essere utili a comprendere la potenziale accuratezza della classificazione per le procedure chirurgiche in questione, come parte di un progetto di audit.”
– Caminiti C, Diodati F, Bacchieri D, et al. Evaluation of a pilot surgical adverse event detection system for Italian hospitals. Int J Qual Healthcare 2012, 24 (2), 114: “l’uso di dati amministrativi per l’esame sistematico puo’ portare alla sottostima di un problema, perche’ l’accertamento di eventi avversi dipende dalla qualita’ e completezza della codifica, e solo eventi per cui esiste un codice ICD-9CM corrispondente, possono essere trovati”.

“In genere bastano 40 o 50 cartelle cliniche”

Il numero di cartelle da esaminare in un audit clinico, è spesso oggetto di discussioni e preoccupazioni. Da esso dipendono, da una parte, la fatica e le risorse da impiegare nell’audit, dall’altra, la credibilità dei risultati ed il loro impatto sui colleghi, in termini di propensione al cambiamento. La generica dicitura “in genere bastano 40 o 50 cartelle cliniche” è piuttosto diffusa (non solo in Italia), e ne esiste anche la variante “in genere bastano 30 cartelle, perché si possono applicare test statistici”. Proviamo a procedere con ordine.
– E’ vero che una serie di test statistici non sono utilizzabili su meno di 30 casi; purtroppo non è valido il ragionamento inverso, cioè che bastino 30 casi per avere un campione sufficientemente grande a fare deduzioni statisticamente valide. Esaminare 30 o meno cartelle è giustificato in un solo caso: quando il totale dei casi è di 30 o meno, perché non si estrae un campione, ma si esaminano tutte le cartelle ! In tale situazione si possono utilizzare gli “exact test” p. es. il test di Fisher.
– La dispensa francese dell’ANAES (1999) riporta a pagina 12 : ”la taille de l’échantillon considérée comme suffisante pour des séries homoge’nes est habituellement de 30 a’ 50 pratiques par unité de soins.” Non viene documentata la fonte di questa affermazione.
– In Italia l’affermazione viene ripresa nella dispensa di Cinotti e Cartabellotta: “un campione di numerosita’ 40-50 viene in generale considerato ‘buono’ “ (2000, pag. 10); gli autori aggiungono: “sempre che l’oggetto della osservazione si presenti con una frequenza dell’ordine del 2-3%.” Questa ulteriore precisazione e’ statisticamente corretta, assumendo, però, delle circostanze che si verificano molto raramente.
– Cerchiamo di essere piu’ chiari: per il calcolo della numerosita’ del campione occorrono in genere 4 valori: (i) la popolazione totale, per esempio il numero totale di pazienti affetti da una determinata patologia in un anno, (ii) il livello di confidenza, convenzionalmente fissato a 95% negli audit clinici, (iii) il margine di errore accettato, convenzionalmente del 5%; (iv) il quarto valore e’ quello piu’ difficile da comprendere, ma contemporaneamente quello che impatta maggiormente sul calcolo della numerosita’: la distribuzione stimata a priori (response distribution). Questi 4 valori vanno immessi in un calcolatore del “sample size” e si possono fare tutti i ragionamenti del caso. In alternativa, si usano le semplici tabelle contenute nel manuale di Nancy Dixon.
– Cinotti e Cartabellotta parlano di un audit su un fenomeno del quale a priori si stima una conformita’ nell’ordine del 97-98%, e il calcolatore ci conferma che per popolazioni sotto 5000 casi il campione sarebbe di 45 casi. Ma in realta’, quante sono le situazioni in cui ci si accinge a fare un audit partendo da una situazione di 97% di pratica corretta ? Probabilmente molto poche. Proseguendo con le simulazioni ed abbassando la percentuale dal 97% al 90% (piuttosto rara anche questa evenienza), la numerosita’ del campione da estrarre sale a 135 casi; se si passa al 80%, il campione dovrebbe essere di 235 casi.
– Wade nel 2005 afferma che “standards expected of audit in terms of design, data collection, and analysis should be at least as high as for research”. In effetti, quando vengono presentati i risultati di un audit ai professionisti, in particolari ai medici, essi spesso esigono degli standard metodologici alti, e la critica alla numerosita’ del campione e’ una delle piu’ ricorrenti. Percio’ e’ utile ricorrere ad un calcolo della numerosita’ campionaria con i metodi appena citati.
– Se, invece, si vuole prescindere dalle leggi della statistica, ci si puo’ chiedere: “quante cartelle vi servono per convincere i colleghi al cambiamento ?” Questo ragionamento pragmatico suggerisce che potrebbe bastare non riscontrare il fenomeno desiderato (p.es. adesione ad una raccomandazione) in 15 cartelle su 15 e fermarsi a quel numero, se i colleghi di fronte a questa evidenza si convincono a cambiare comportamento professionale. Un approccio di questo tipo sottolinea che l’audit clinico non e’ uno studio descrittivo, ma un ciclo di miglioramento.

Un calcolatore usato abbastanza frequentemente si trova qui: http://www.raosoft.com/samplesize.html

“Lo standard del 100% in un audit è irrealistico e perciò non va mai usato”

Il dibattito, spesso acceso, intorno a questo argomento si ripete ogniqualvolta si discuta del concetto di standard in un audit clinico. Proviamo ad affrontarlo in maniera non dogmatica, facendo alcune considerazioni metodologiche successive fra di loro.

In primo luogo bisogna distinguere fra i vari tipi di criteri in un audit: criteri di processo e criteri di esito. Va da se che uno standard del 100% per un criterio di esito non e’ realistico: nessuno puo’ attendersi il 100% di guarigioni o, viceversa, lo 0% di complicanze. Per questi criteri ci si riferisce alla letteratura scientifica o a dati di strutture sanitarie eccellenti, scegliendo questi come fonte dello standard e facendo una sorta di benchmarking.

Limitandoci quindi ai criteri di processo, in secondo luogo, bisogna sapere come trattare le eccezioni, vale a dire i casi per cui esistono documentati motivi clinici per non aderire al criterio: controindicazioni ad un trattamento, allergie ad un farmaco, rifiuto del paziente ecc. Questi casi vengono conteggiati positivamente al numeratore. [vd. newsletter n.7 del Settembre 2011 ] Tipicamente, si tratta di raccomandazioni tratta da linee-guida cliniche, come per esempio la somministrazione di un certo farmaco al momento giusto per una determinata patologia. In queste situazioni, quali possono essere i motivi per cui si pensi di non aspirare al 100% ? Se la guida nella costruzione dell’audit e’ il beneficio per il paziente, diventerebbe un problema etico pianificare a priori una percentuale di non-adesione al criterio.

Infine, fissando lo standard al 100% (per questo tipo di criteri), abbiamo un grande vantaggio metodologico: si possono contrassegnare quei –pochi- casi che non soddisfanno il criterio, ne’ sono eccezioni, e discuterli uno per uno con i professionisti coinvolti, iniziando cosi’ gia’ in questa fase un processo di crescita professionale e cambiamento.

Un incontro di aggiornamento fra Medici di Medicina Generale è un audit clinico

L’accordo collettivo nazionale per la disciplina dei rapporti con i Medici di Medicina Generale del 25 marzo 2005 prevede all’art. 20 che le Regioni possono riconoscere, …, attivita’ formative del Medico di Medicina Generale, nelle seguenti aree: “(…) 4. Aggiornamento e Audit”.
La Commissione Nazionale ECM stabilisce nel suo documento “Formazione sul campo (FSC) e criteri per l’assegnazione di crediti ECM alle attivita’ di FSC” del 13 Gennaio 2010 di accreditare le seguenti tipologie: “(…) Audit Clinico e/o Assistenziale”.
Quindi, gia’ dal 2005 i Medici di Medicina Generale possono farsi riconoscere le attivita’ di Audit Clinico come formazione, e nel 2010 questa possibilita’ e’ stata estesa a tutti i professionisti della sanita’, in poche parole: Audit Clinico e’ Formazione.
Non vale, pero’, il ragionamento inverso, secondo cui ogni incontro, ogni aggiornamento, ogni discussione su argomenti piu’ o meno clinici, possa essere chiamato “Audit” o “Audit Clinico”.
Seguendo la richiesta del dirigente del Ministero (vd. sopra), sarebbe opportuno che gli Uffici Formazione e le organizzazioni dei Medici di Medicina Generale fermassero il qualunquismo terminologico ed usassero precisi criteri per il riconoscimento di attivita’ di Audit Clinico come formazione, come per esempio i seguenti:
Chi chiede il riconoscimento/accreditamento di un attivita’ di Audit Clinico dovrebbe dare evidenza
1. della scelta condivisa di un ambito clinico, ritenuto importante,
2. della formulazione di criteri che descrivono una pratica professionale ritenuta ottimale; questi criteri dovrebbero fare riferimento alle evidenze scientifiche (p.es. Linee Guida), e possono riguardare aspetti del processo clinico e/o dell’esito (outcome),
3. della definizione di uno standard che demarca il limite fra il livello qualita’ ritenuto accettabile e non,
4. dell’esame della documentazione clinica (cartelle, referti, schede, cartacee o elettroniche) per un campione di pazienti,
5. della valutazione quantitativa sul numero di pazienti che soddisfano ogni criterio,
6. della discussione di tali risultati e dell’avvio di un ciclo di miglioramento nel caso di scostamenti significativi dal valore-soglia.
Questi criteri vengono utilizzati dai Valutatori in Emilia Romagna nelle verifiche per l’Accreditamento delle strutture sanitarie.

Il self – audit

Questo termine, creato alla fine degli anni ’70 da MG Sheldon (J R Coll Gen Pract 1979, 29, 703-711), voleva descrivere l’applicazione all’ambito individuale dei principi metodologici individuati negli anni ’50 dal creatore dell’Audit Clinico, Paul Anthony Lembcke. I pochi riferimenti bibliografici in merito sono generalmente datati, e nei paesi anglosassoni il self-audit non e’ conosciuto come pratica diffusa. L’assunto di base del self audit e’ quello che un medico, raccogliendo i dati sulla propria pratica e guardandoli, cambiera’ comportamento professionale. In questo senso non e’ altro che sinonimo per “controllo di se stessi” o “feedback sui propri dati”. Le revisioni sistematiche esistenti, in particolare quella di Hysong (2009) e quella di Foy, Eccles, Jamtvedt et al (2005) indicano che una riduzione dell’intero ciclo di Audit Clinico (che potrebbe comprendere fino a 32 elementi diversi) a quei pochi passi di “selezionare criteri – raccogliere dati – dare feedback” non e’ efficace nel migliorare la pratica. Tantomeno lo e’ il solo feedback, cioe’ senza la partecipazione del medico alle tappe precedenti. Ciononostante, il termine “self audit” ricompare periodicamente nei dibattiti, forse per l’eleganza terminologica, o per la speranza di aver trovato una scorciatoia.

Chi vuole saperne di piu’ :
– Sheldon MG. Medical audit in general practice. JR Coll Gen Pract Occas Pap.1982;20:1–21.
– Lembcke P.A. Evolution of the medical audit. J Am Med Assoc 1967;199:111-8.
– Foy R., Eccles M.P., Jamtvedt G., Young J., Grimshaw J.M., Baker R. What do we know about how to do audit and feedback ? Pitfalls in applying evidence from a systematic review. BMC Health Services Research 2005;5(50).
– Il lavoro di Hysong e’ stato recensito nella newsletter di Febbraio 2011.

“Pazienti per i quali la raccomandazione non è applicabile vanno esclusi dai conteggi dell’audit”

Non e’ solo una leggenda metropolitana, ma un vero e proprio errore metodologico. I criteri in un audit clinico sono spesso tratti dalle Linee Guida, basate a loro volta su evidenze scientifiche, anzi, quasi tutte le raccomandazioni contenute in LG possono essere utilizzate come criteri. E’ quasi inevitabile che una raccomandazione non sia applicabile a tutti i pazienti del campione scelto per l’Audit. Se, per esempio, la Linea Guida Spread sul trattamento dell’Ictus raccomanda di somministrare aspirina entro 48 ore dall’esordio dei sintomi, questa raccomandazione non sara’ applicabile a coloro per i quali esistono controindicazioni mediche all’assunzione dell’aspirina. Molti colleghi tendono ad escludere questi pazienti dal campione (quindi li tolgono dal numeratore e dal denominatore) e calcolano la percentuale di adesione solo sui casi rimanenti. E’ corretto, invece, mantenerli nel campione e sommarli ai casi giudicati “ok” anche al numeratore. Il numeratore sara’quindi costituito:
+ dai casi per cui si e’ accertata l’adesione alla Linea Guida,
+ piu’ i casi (documentati) per cui esistono motivi clinici per non aver seguito la raccomandazione, che vengono chiamate “eccezioni”.
Non si tratta solo di un dettaglio matematico, ma di un principio che contradistingue l’Audit Clinico: se il professionista ha avuto un comportamento corretto (nell’esempio: ha accertato la controindicazione ed ha agito di conseguenza), cio’ deve trovare riscontro anche nei numeri.
La differenza fra “eccezioni” ed “esclusioni” e’ spiegata bene nel libro di Nancy Dixon (vd. newsletter n.6), qualche elemento si trova anche nelle slide del suo intervento a Ferrara di Aprile 2011. http://www.ospfe.it/il-professionista/audit-clinico/audit-clinico/Slides%20Dixon.pdf

“L’Audit Clinico è la discussione di un singolo caso clinico o evento”

In Italia e’ stata piuttosto diffusa l’opinione che l’Audit Clinico sia la discussione di un singolo caso clinico, in particolare se il caso ha avuto degli esiti inaspettati (p.e. eventi avversi). Questo uso improprio ha generato spesso incomprensioni fra colleghi italiani e stupore fra i colleghi anglossassoni. Difatti, le discussioni di casi clinici particolari sono molto diffusi nella sanita’anglosassone (e non solo nei telefilm), ma si chiamano in altra maniera: Significant Event Audit, Morbidity and Mortality Conference, Clinical Review, Case Review ecc.

Uno dei motivi di questa confusione e’ forse il fatto che il termine “audit”, con una radice etimologica nel verbo latino “audire”, e’ entrato fra il 1300 ed il 1600 nella lingua inglese, per descrivere un’attivita’ particolare, quella della revisione dei conti, dato che questi originariamente venivano presentati in forma orale. A tutt’oggi il significato principale del lemma inglese “audit” e’ quello di “ispezione, verifica”. Nell’economia aziendale il termine viene utilizzato anche in Italia con il significato di “revisione dei conti”. Analogamente, dal 2003 nell’ambito delle norme ISO e’ sinonimo di “visita di verifica”. Pertanto, per esempio, “Significant Event Audit” puo’ essere tradotto correttamente con “Verifica di un Evento Significativo”.

A molti colleghi deve essere sembrato logico che una “Verifica Clinica” potesse essere chiamato “Audit Clinico”, non sapendo che questo termine era riservato da molti anni ad un preciso metodo di valutazione e miglioramento della qualita’ clinica e assistenziale, creato dall’americano P.A. Lembcke, anch’esso molto diffuso nei paesi anglosassoni, che prevede l’esame di un campione rappresentativo di cartelle cliniche, e mai di una cartella sola.

Un ruolo non marginale nella diffusione dell’uso improprio del termine “Audit Clinico” ha avuto la Regione Toscana, la quale con Decreto Regionale n.6604 del 22/11/2005, ha definito come “Audit Clinico GRC” un “audit di processo finalizzato alla revisione di eventi significativi, aventi per obiettivo l’individuazione delle criticita’organizzative e le relative ipotesi di miglioramento”, non tenendo conto di tutta la letteratura scientifica gia’esistente in merito. La sigla “GRC” sta per “Gestione del Rischio Clinico” e, nell’uso corrente, viene spesso tralasciata.

A tutto questo il Ministero della Salute ha posto autorevolmente la parola “fine”, distinguendo nella sua recentissima pubblicazione chiaramente fra “Audit Clinico” e “Significant Event Audit” (vd. Notizie italiane in questo numero).

“Una riunione in cui si presentano dati clinici ai professionisti si chiama audit clinico”

Questa leggenda non e’ molto diffusa in Italia, ma ogni tanto la si incontra. E’ vero che, all’interno del ciclo dell’Audit Clinico, il momento di presentazione dei dati ai colleghi, da parte del gruppo di Audit, e’ uno dei momenti cruciali. E’ una riunione che va preparata con cura e che puo’ avere una forte valenza formativa. E’ vero anche, che il significato del termine inglese “audit”, senza l’aggettivo “clinico”, e’ quello di “verifica, valutazione”.
Verrebbe da chiedersi, pero’, che nome dare a tutto il resto del processo: individuare un ambito, scegliere un tema, individuare criteri, indicatori e standard, sviluppare strumenti per la raccolta dati, raccogliere e analizzare i dati. Inoltre, si e’ fatto cenno anche in questo numero della newsletter al fatto che un Audit Clinico non e’ completo se non comprende le azioni di miglioramento e il re-audit.
Un’unica riunione non cambiera’ mai la pratica clinica, ma rimarra’ sempre un momento di valutazione, non di miglioramento.

Il mito dell’audit organizzativo

“Si puo’ applicare la metodologia dell’Audit Clinico a problemi strettamente organizzativi, si parla allora di ‘audit organizzativo’.”
In Italia non di rado si incontra la speranza di poter applicare la metodologia dell’audit clinico anche su problematiche di tipo meramente organizzativo, sebbene esistano altri strumenti piu’ idonei (p.es. un gruppo di miglioramento che segue il ciclo PDCA, detto “ciclo di Deming”). L’assenza di criteri e standard esterni, che siano basati su evidenze scientifiche, fa si’ che questa speranza generalmente venga delusa.Si tratta di uno dei malintesi piu’ diffusi, costituito dalla combinazione di 2 equivoci:
(a) Il metodo dell’Audit Clinico, creato negli anni ’50 e ’60 da Paul Anthony Lembcke, nasce come metodo di valutazione della qualita’ tecnico-professionale in ambito sanitario e come strumento per lo sviluppo professionale; negli anni ’90 si arricchisce degli elementi della Evidence Based Medicine. Oggetti dell’Audit Clinico sono sempre tematiche di natura clinico-assistenziale e mai problemi squisitamente organizzativi. Cio’ e’ dovuto anche al fatto che raramente esistono raccomandazioni basate su evidenze scientifiche, relative ad ambiti organizzativi, e che la soluzione di problemi organizzativi non presuppone le competenze specifiche delle professioni mediche o sanitarie.
(b) Il termine “audit organizzativo” andrebbe usato correttamente solo in 2 situazioni:
– come sinonimo di “verifica ispettiva”, in particolare nell’ambito dell’Accreditamento Istituzionale e della Certificazione, coerentemente con il lessico della norma Iso 19011,
– per quella parte degli Audit Clinici nazionali o regionali in cui vengono valutati anche aspetti di struttura (dotazioni tecnologiche, di organico, di competenza clinica ecc.); questo tipo di Audit e’ piuttosto raro in Italia.
La ricerca in Internet ed il colloquio con i colleghi rivelano, invece, un’ampia varieta’ di usi del termine “Audit Organizzativo”: come sinonimo di “meeting di discussione” su aspetti organizzativi della sanita’, come approccio consulenziale (ascolto di alcune funzioni e ruoli nelle aziende, per valutare il rapporto fra azienda e collaboratori, per diagnosticare il funzionamento organizzativo dell’azienda, cliente della societa’ di consulenza), ecc.

“L’audit alla fine deve essere validato”

L’unica fonte di questa affermazione, che si e’ diffusa in Italia, e’ il fascicolo “Progettare, realizzare
verificare un audit clinico”, scritto da R. Cinotti e N. Cartabellotta e pubblicato nel 2000 come “Sussidio per l’Accreditamento n.6”. A pag. 15 essi affermano che “agli step precedenti va aggiunto questo’ultimo. Anche l’audit e’ una ‘tecnologia’ ed e’ soggetta a valutazione. .. In definitiva la validazione e’ il processo che consente di assumere decisioni sull’utilizzo ulteriore dello strumento, imparando dagli errori.” Si tratterebbe quindi di una valutazione a posteriori, svolta dai protagonisti dell’Audit.
Il termine “validazione” appartiene da una parte al mondo delle norme ISO 9000 (procedure di validazione della progettazione per assicurare che il prodotto soddisfi a definite esigenze e/o requisiti dell’utilizzatore), dall’altra a quello della creazione delle Linee Guida cliniche. In statistica e psicometria, inoltre, si parla della validazione di un test.
Per quanto concerne l’Audit Clinico, il termine “validazione” non trova riscontro né nella letteratura né nell’esperienza dei colleghi anglo-sassoni interpellati. L’unico riferimento rintracciato e’ quello di Hunter JG et al (Surgical Endoscopy, 1999, 699) in cui gli autori introducono un database di endoscopie effettuate e alimentato con i dati degli endoscopisti partecipanti. Il database viene chiamato “Complete clinical outcomes audit” e la sua fattibilita’ viene “validata” dallo studio in oggetto.
Per quanto sia auspicabile una riflessione o valutazione dopo ogni Audit effettuato, sarebbe meglio evitare il termine, un po’ pomposo, di “validazione”, il quale -oltrettutto- potrebbe anche suscitare inappropriati desideri di diventare “istituzione validante”.