LA AUDITORIA DEL ALGORITMO MÉDICO
A continuación, se presenta la traducción del texto original del artículo de los autores más adelante mencionados realizado por el equipo del comité editorial de MD&CO Consulting Group. Esta traducción se realiza con fines académicos para promover la revisión de la literatura disponible sobre el tema. Se advierte que la traducción puede presentar notas realizadas por el traductor con el objetivo de facilitar la comprensión del documento y disipar ambigüedades que puedan existir por las diferencias en los idiomas.
Xiaoxuan Liu, Ben Glocker, PhD, Melissa M McCradden, & otros. (5 de abril de 2022). The medical algorithmic audit. The Lancet Digital Health. Recuperado de: https://www.thelancet.com/journals/landig/article/PIIS2589-7500(22)00003-6/fulltext
Los sistemas de inteligencia artificial para el cuidado de la salud como cualquier otro dispositivo medico tienen la posibilidad de fallar, pueden producir errores impredecibles que podrían pasarse por alto sin una investigación proactiva, debido a esto se propone un marco de auditoria algorítmica medica que, a través de un proceso de estudio de posibles errores mapeando los componentes que podrían influir en los errores y anticipando sus consecuencias. Se proponen varios enfoques para probar estas posibles fallas incluyendo análisis de búsqueda de errores y pruebas contradictorias proporcionando como ejemplo trabajos y estudios ya realizados. La auditoría algorítmica medica es una herramienta que se puede utilizar para comprender mejor las debilidades de un sistema de inteligencia artificial y establecer mecanismos para mitigar su impacto, se propone monitoreo de seguridad para que esta sea una responsabilidad conjunta entre usuarios y desarrolladores y así promover el aprendizaje, un sistema de inteligencia artificial podría aprender a detectar marcas quirúrgicas en la piel para diagnostica cáncer de piel.
La mayoría de los errores humanos están relacionados con fallas perspectivas, causadas por factores como la sutileza de los hallazgos visuales, como el síndrome de satisfacción que consiste en encontrar una anormalidad esto hace que el lector tenga menos probabilidades de encontrar una segunda. Por el contrario, la inteligencia artificial no es susceptible de búsquedas incompletas.
En general se puede suponer que los sistemas de inteligencia artificial funcionaran bien dentro del espacio trazado por los datos de entrenamiento. Desafortunadamente, la complejidad en la mayoría de los datos médicos puede ser difícil definir qué casos están dentro de la distribución y cuales están fuera; todos estos factores contribuyen a la brecha de rendimiento entre las pruebas preclínicas y la implementación en el mundo real, las estrategias de evaluación actuales no son adecuadas para identificar el problema. Un concepto que ha sido descrito como estratificación oculta.
Los errores algorítmicos como cualquier resultado del sistema de inteligencia artificial que sea inexacto, incluidos aquellos que no concuerdan con el rendimiento esperado y aquellos que puedan causar daños si no se detectan o se detectan demasiado tarde.
Se propone un enfoque basado en auditoria para investigar errores algorítmicos. Una auditoria algorítmica se enfoca en desarrollar procesos e incorporar principios y valores organizacionales en el diseño del algoritmo, estos valores pueden viajar ampliamente dependiendo de la organización y el contexto del despliegue. La auditoría algorítmica medica puede revelar áreas en las que se requiere estos mecanismos y señalar como se pueden corregir las posibles desventajas.
Elementos de una auditoria algorítmica médica.
Se abordo este problema desde dos perspectivas: la del desarrollador, que puede modificar el sistema de inteligencia artificial en respuesta a los resultados de la auditoria; y la del usuario, que no puede modificar el sistema de inteligencia artificial, pero tiene los medios para implementar planes de mitigación de riesgos específicos para el entorno de implementación. Se aplicaron los principios de la herramienta FMEA, es un mecanismo de ingeniería, para facilitar la evaluación, priorización y mitigación de riesgos este trae como beneficio inicia y guiar un proceso de pensamiento crítico, en lugar de establecer si el sistema de inteligencia artificial es aceptable o inaceptable o brindar certeza de que todos los riesgos puedan anticiparse y minimizarse. (Xiaoxuan Liu, 2022). . Un ejemplo de una auditoria para un algoritmo de detección de fractura de cadera se publica como información complementaria en un estudio realizado por Oakden-Rayner.
La auditoría algorítmica medica puede ser realizada por desarrolladores, pero también es probable que la realicen partes interesadas que no participan en el diseño del algoritmo, como los trabajadores de la salud. Dentro del mandato más amplio de garantizar que los sistemas de inteligencia artificial sean seguros, es útil realizar análisis sistemáticos regulares de los errores observados.
Figura 1. Descripción general de la auditoria algorítmica medica (Adaptación de The lancet digital healt)
El alcance en la auditoria algorítmica medica debe centrarse en dos elementos clave: el uso y el impacto previsto, el uso previsto es un requisito reglamentario que describe cómo se va a aplicar el algoritmo (como dispositivo medico). Según lo establecido por la guía de aprobación previa a la comercialización de administración de drogas y alimentos de EE. UU. establece “Las indicaciones de uso de un dispositivo incluyen una descripción general de la enfermedad o condición que el dispositivo diagnosticará, tratará, evitará o mitigará, incluida una descripción de la población de pacientes para la cual está destinado el dispositivo”
La especificación de uso previsto es definida por el desarrollador, quien tiene conocimiento de cualquier evidencia previa que respalde las indicaciones para uso legal y seguro.
El auditor debe definir cualquier resultado inaceptable de alto riesgo o evento adverso; tales eventos en seguridad medica son distintos, porque se consideran tan graves que nunca deberían ocurrir, como los procedimientos quirúrgicos realizados en la extremidad equivocada.
Aunque es importante que el acceso a los datos relevantes sea útil, la comprensión de los procesos de datos es igualmente importante. Esta información se puede formalizar con una ficha técnica y un diagrama de flujo de datos.
Figura 2. Descripción general de la auditoria algorítmica medica (Adaptación de The lancet digital healt)
La parte más importante del proceso de auditoría, además de la implementación de las recomendaciones, es la fase de prueba
También es la parte más difícil del proceso de estandarizar, porque cada sistema de inteligencia artificial enfrenta diferentes riesgos.
Sugerimos varios componentes clave de las pruebas de los sistemas de inteligencia artificial medica durante una auditoria algorítmica: análisis de errores exploratorios, pruebas de subgrupos y pruebas contradictorias.
Tabla 1. Acciones para desarrolladores y usuarios en cada etapa de la auditoria algorítmica médica (Adaptación de The lancet digital healt)
Hay tres formas principales de pruebas de subgrupos: análisis de subgrupos especificaos de pacientes, análisis de subgrupos específicos de tareas y análisis de subgrupos descubiertos por el análisis de errores exploratorios.
Para concluir los sistemas de inteligencia artificial para el cuidado de la salud podrían traer beneficios considerables a la atención del paciente, pero, como cualquier otra intervención médica, también tienen el potencial de causar daño. Para los sistemas de inteligencia artificial, la naturaleza de los errores puede hacer que sean particularmente difíciles de identificar, explicar y mitigar.
En un momento en que los sistemas de inteligencia artificial se están adoptando rápidamente en la atención clínica, es esencial proporcionar un marco para el monitoreo continuo del rendimiento y el escrutinio del rendimiento de errores y daños.
La implementación de sistemas de inteligencia artificial pueden ser especialmente riesgosa, dado que a menudo coinciden con el establecimiento de nuevas vías clínicas sin comparadores claros para los resultados esperados o estándares de calidad como la creación de nuevas vías de atención virtual y telemedicina.
Referencias
Xiaoxuan Liu, Ben Glocker, PhD, Melissa M McCradden, & otros. (5 de abril de 2022). The medical algorithmic audit. The Lancet Digital Health. Recuperado de: https://www.thelancet.com/journals/landig/article/PIIS2589-7500(22)00003-6/fulltext
