El aprendizaje automático está tomando por asalto el diagnóstico médico. Desde enfermedades oculares, cáncer de mama y otros cánceres, hasta trastornos neurológicos más amorfos, la IA está igualando rutinariamente el desempeño de los médicos, si no los supera por completo.
Sin embargo, ¿cuánto podemos tomar esos resultados al pie de la letra? Cuando se trata de decisiones de vida o muerte, ¿cuándo podemos confiar plenamente en algoritmos enigmáticos, " cajas negras " que ni siquiera sus creadores pueden explicar o comprender por completo? El problema se vuelve más complejo a medida que la IA médica atraviesa múltiples disciplinas y desarrolladores, incluidas potencias tanto académicas como de la industria como Google, Amazon o Apple, con incentivos dispares.
Esta semana, las dos partes se enfrentaron en un acalorado duelo en una de las revistas científicas más prestigiosas, Nature . Por un lado se encuentran destacados investigadores de inteligencia artificial en el Princess Margaret Cancer Center, la Universidad de Toronto, la Universidad de Stanford, Johns Hopkins, Harvard, MIT y otros. En el otro lado está el titán Google Health.
El detonante fue un estudio explosivo de Google Health para la detección del cáncer de mama, publicado en enero de este año. El estudio afirmó haber desarrollado un sistema de inteligencia artificial que superó ampliamente a los radiólogos en el diagnóstico de cáncer de mama, y puede generalizarse a poblaciones más allá de las utilizadas para el entrenamiento, una especie de santo grial que es increíblemente difícil debido a la falta de grandes conjuntos de datos de imágenes médicas. El estudio causó sensación en el panorama de los medios de comunicación y generó un gran revuelo en la esfera pública por la "mayoría de edad" de la IA médica.
El problema, argumentaron los académicos, es que el estudio carecía de suficientes descripciones del código y modelo para que otros pudieran replicar. En otras palabras, solo podemos confiar en el estudio en su palabra, algo que simplemente no se hace en la investigación científica. Google Health, a su vez, redactó una refutación educada, matizada pero asertiva, argumentando su necesidad de proteger la información del paciente y evitar que la IA de ataques maliciosos.
Discursos académicos como estos forman la sede de la ciencia y pueden parecer increíblemente nerds y obsoletos, especialmente porque en lugar de canales en línea, las dos partes recurrieron a una discusión de papel y lápiz de siglos de antigüedad. Sin embargo, al hacerlo, elevaron un debate necesario a una amplia audiencia mundial, y cada lado lanzó golpes sólidos que, a su vez, podrían sentar las bases de un marco de confianza y transparencia en la IA médica, en beneficio de todos. Ahora, si tan solo pudieran rapear sus argumentos en la línea de las batallas del gabinete de Hamilton y Jefferson en Hamilton.
Académicos, tienes la palabra
Es fácil ver de dónde provienen los argumentos académicos. La ciencia a menudo se pinta como un esfuerzo sagrado que encarna la objetividad y la verdad. Pero como cualquier disciplina tocada por la gente, es propensa a errores, diseños deficientes, sesgos no intencionales o, en cantidades muy pequeñas, manipulación consciente para sesgar los resultados. Debido a esto, al publicar los resultados, los científicos describen cuidadosamente su metodología para que otros puedan replicar los hallazgos. Si una conclusión, digamos una vacuna que protege contra Covid-19, ocurre en casi todos los laboratorios, independientemente del científico, el material o los sujetos, entonces tenemos pruebas más sólidas de que la vacuna realmente funciona. De lo contrario, significa que el estudio inicial puede estar equivocado, y los científicos pueden delinear por qué y seguir adelante. La replicación es fundamental para una evolución científica saludable.
Pero la investigación de la IA está destruyendo el dogma.
“En la investigación computacional, todavía no es un criterio generalizado para que los detalles de un estudio de IA sean completamente accesibles. Esto es perjudicial para nuestro progreso ”, dijo el autor, Dr. Benjamin Haibe-Kains, del Princess Margaret Cancer Center. Por ejemplo, los matices en el código de computadora o las muestras y parámetros de entrenamiento podrían cambiar drásticamente el entrenamiento y la evaluación de los resultados, aspectos que no se pueden describir fácilmente usando solo texto, como es la norma. La consecuencia, dijo el equipo, es que hace que tratar de verificar la compleja canalización computacional "no sea posible". (Para los académicos, eso es el equivalente a quitarse los guantes).
Aunque los académicos tomaron el estudio sobre el cáncer de mama de Google Health como ejemplo, reconocieron que el problema está mucho más extendido. Al examinar las deficiencias del estudio de Google Health en términos de transparencia, el equipo dijo que "proporcionamos soluciones potenciales con implicaciones para un campo más amplio". No es un problema imposible. Los depósitos en línea como GitHub, Bitbucket y otros ya permiten compartir código. Otros permiten compartir modelos de aprendizaje profundo, como ModelHub.ai, con soporte para marcos como TensorFlow, que fue utilizado por el equipo de Google Health.
Dejando a un lado los detalles de los modelos de IA, también está la cuestión de compartir datos a partir de los cuales se entrenaron esos modelos. Es un problema particularmente espinoso para la IA médica, porque muchos de esos conjuntos de datos están bajo licencia y el intercambio puede generar preocupaciones de privacidad. Sin embargo, no es inaudito. Por ejemplo, la genómica ha aprovechado los conjuntos de datos de los pacientes durante décadas, esencialmente el “código base” genético de cada persona, y existen pautas extensas para proteger la privacidad del paciente. Si alguna vez usó un kit de escupitajo de ascendencia 23andMe y dio su consentimiento para que sus datos se usen para estudios genómicos grandes, se ha beneficiado de esas pautas. Establecer algo similar para la IA médica no es imposible.
Al final, una barra más alta de transparencia para la IA médica beneficiará a todo el campo, incluidos los médicos y los pacientes. “Además de mejorar la accesibilidad y la transparencia, dichos recursos pueden acelerar considerablemente el desarrollo, la validación y la transición del modelo a la implementación clínica y de producción”, escribieron los autores.
Google Health, su respuesta
Dirigido por el Dr. Scott McKinney, Google Health no se anduvo con rodeos. Su argumento general: “Sin duda, los comentaristas están motivados por proteger a los futuros pacientes tanto como por principios científicos. Compartimos ese sentimiento ". Pero bajo los marcos regulatorios actuales, nuestras manos están atadas cuando se trata de compartir abiertamente.
Por ejemplo, cuando se trata de lanzar una versión de su modelo para que otros la prueben en diferentes conjuntos de imágenes médicas, el equipo dijo que simplemente no pueden porque su sistema de inteligencia artificial puede clasificarse como "software de dispositivos médicos", que está sujeto a vigilancia. La divulgación sin restricciones puede dar lugar a problemas de responsabilidad que ponen en riesgo a los pacientes, proveedores y desarrolladores.
En cuanto a compartir conjuntos de datos, Google Health argumentó que su fuente más grande utilizada está disponible en línea con una aplicación para acceder (con solo una pizca de descaro de que su organización ayudó a financiar el recurso). Otros conjuntos de datos, debido a juntas éticas, simplemente no se pueden compartir.
Finalmente, el equipo argumentó que compartir los “parámetros aprendidos” de un modelo, es decir, el pan y la mantequilla de cómo están construidos, puede exponer inadvertidamente el conjunto de datos de entrenamiento y el modelo a un ataque malintencionado o mal uso. Ciertamente es una preocupación: es posible que haya oído hablar anteriormente de GPT-3, el algoritmo OpenAI que escribe de manera inquietante como un humano, lo suficiente como para engañar a los Redditors durante una semana . Pero se necesitaría una persona realmente enferma para bastardear una herramienta de detección de cáncer de mama en busca de una gratificación retorcida.
La habitación donde sucede
El debate académico-Google Health es solo un pequeño rincón de un ajuste de cuentas mundial para la IA médica. En septiembre de 2011, un consorcio internacional de expertos médicos introdujo un conjunto de estándares oficiales para ensayos clínicos que implementan la IA en la medicina, con el objetivo de extraer el aceite de serpiente de IA de algoritmos confiables. Un punto puede sonar familiar: la fiabilidad con la que funciona una IA médica en la palabra real, lejos de los conjuntos de entrenamiento o las condiciones favorables en el laboratorio. Las pautas representan algunas de las primeras en lo que respecta a la IA médica, pero no serán las últimas.
Si todo esto parece abstracto y en lo alto de la torre de marfil, piénselo de otra manera: ahora está presenciando la habitación donde sucede. Al publicar negociaciones y discursos públicamente, los desarrolladores de IA están invitando a partes interesadas adicionales a unirse a la conversación. Al igual que los coches autónomos, la IA médica parece inevitable. La cuestión es cómo juzgarlo y desplegarlo de manera segura y equitativa, mientras se invita a una gran dosis de confianza pública.
Crédito de la imagen: Marc Manhart de Pixabay