La intel·ligència artificial en cirurgia planteja reptes jurídics i ètics majors
La intel·ligència artificial transforma progressivament la cirurgia, millorant la planificació de les operacions, l’assistència en temps real i fins i tot algunes tasques autònomes. No obstant això, la seva adopció introdueix riscos tecnològics, humans, jurídics i ètics encara mal regulats per les normatives actuals.
Els sistemes de intel·ligència artificial en cirurgia poden cometre errors de diagnòstic o de tractament, comprometre el consentiment informat dels pacients o violar la seva privacitat. Aquests riscos provenen de tres fonts principals: les limitacions pròpies de l’eina, els errors humans lligats a la seva utilització i les deficiències organitzatives durant el seu desplegament. Per exemple, un algoritme mal entrenat pot amplificar biaixos presents en les dades, portant a recomanacions injustes per a certs grups de pacients. De la mateixa manera, un cirurgià podria confiar massa en una suggerència errònia però plausible de l’eina, abandonant així el seu propi judici clínic.
Els marc legal actuals, com els de la Unió Europea o els Estats Units, intenten regular aquestes tecnologies classificant els sistemes segons el seu nivell de risc. Les exigències varien, llavors, en matèria de proves, gestió de dades i ciberseguretat. Tanmateix, aquestes regulacions tenen dificultats per seguir el ritme de les innovacions, especialment davant de models capaços d’aprendre i adaptar-se contínuament. La protecció de les dades dels pacients segueix sent també una qüestió crítica. A Europa, el Reglament General de Protecció de Dades imposa regles estrictes sobre l’ús de la informació mèdica, mentre que als Estats Units, les llacunes de la llei actual exposen els pacients a riscos de reidentificació de les seves dades, fins i tot anonimitzades.
El consentiment informat esdevé més complex amb la introducció de la intel·ligència artificial. Els pacients, sovint poc familiaritzats amb aquestes tecnologies, poden desenvolupar expectatives irreals o, al contrari, pors infundades. Els cirurgians han d’explicar clarament el paper de l’eina: es tracta d’una ajuda per al diagnòstic, d’una guia de navegació o d’un assistent actiu durant l’operació? També han de descriure les garanties existents, com la seva capacitat per verificar i contradir les recomanacions de l’eina. A més, els cirurgians han d’informar els pacients sobre la seva pròpia formació i experiència amb aquests sistemes.
La qüestió de la responsabilitat en cas d’error mèdic es complica amb l’ús de la intel·ligència artificial. Tradicionalment, el cirurgià assumeix tota la responsabilitat de les decisions preses a la sala d’operacions. Però si un sistema proposa una recomanació errònia que ha causat un dany, qui és responsable? El cirurgià per haver-la seguit, el desenvolupador per un defecte de disseny o el centre per una implementació negligent? Els tribunals podrien considerar responsables els fabricants si un algoritme defectuós o mal provat ha portat a un error. Els hospitals, per la seva banda, podrien ser jutjats com a negligents si utilitzen un sistema no validat o mal mantingut. Quant al cirurgià, segueix obligat a complir les normes d’atenció i no pot desentendre’s de la seva responsabilitat culpar l’eina.
Els riscos no es limiten als errors mèdics. Un ús incorrecte de la intel·ligència artificial també pot erosionar la confiança entre el pacient i el cirurgià. Si el pacient perceb que les decisions es prenen per un algoritme en lloc del seu metge, la relació de confiança pot afeblir-se. A més, la manca de transparència o un error de l’eina pot danyar duradorament aquesta confiança, tant envers el clínic com envers el sistema de salut en el seu conjunt.
Per atenuar aquests riscos, es requereix una governança robusta. Els centres sanitaris han de posar en marxa comitès dedicats per avaluar els sistemes de intel·ligència artificial abans de la seva adopció. Aquests comitès han d’assegurar-se que els desenvolupadors subministrin manuals d’ús complets, sessions de formació i directrius de seguretat. També és necessària una vigilància contínua del rendiment per detectar qualsevol degradació o derivació del model. Les societats científiques i les institucions mèdiques també tenen un paper important en establir normes per a la formació i la certificació dels cirurgians que utilitzen aquestes eines.
Finalment, la col·laboració entre hospitals, desenvolupadors i reguladors és essencial per harmonitzar les pràctiques i garantir un ús segur i ètic de la intel·ligència artificial en cirurgia. Sense això, els avenços tecnològics podrien fer-se a costa de la seguretat dels pacients i la qualitat de l’atenció.
La intel·ligència artificial en cirurgia planteja reptes jurídics i ètics majors
La intel·ligència artificial transforma progressivament la cirurgia, millorant la planificació de les operacions, l’assistència en temps real i fins i tot algunes tasques autònomes. No obstant això, la seva adopció introdueix riscos tecnològics, humans, jurídics i ètics encara mal regulats per les normatives actuals.
Els sistemes de intel·ligència artificial en cirurgia poden cometre errors de diagnòstic o de tractament, comprometre el consentiment informat dels pacients o violar la seva privacitat. Aquests riscos provenen de tres fonts principals: les limitacions pròpies de l’eina, els errors humans lligats a la seva utilització i les deficiències organitzatives durant el seu desplegament. Per exemple, un algoritme mal entrenat pot amplificar biaixos presents en les dades, portant a recomanacions injustes per a certs grups de pacients. De la mateixa manera, un cirurgià podria confiar massa en una suggerència errònia però plausible de l’eina, abandonant així el seu propi judici clínic.
Els marc legal actuals, com els de la Unió Europea o els Estats Units, intenten regular aquestes tecnologies classificant els sistemes segons el seu nivell de risc. Les exigències varien, llavors, en matèria de proves, gestió de dades i ciberseguretat. Tanmateix, aquestes regulacions tenen dificultats per seguir el ritme de les innovacions, especialment davant de models capaços d’aprendre i adaptar-se contínuament. La protecció de les dades dels pacients segueix sent també una qüestió crítica. A Europa, el Reglament General de Protecció de Dades imposa regles estrictes sobre l’ús de la informació mèdica, mentre que als Estats Units, les llacunes de la llei actual exposen els pacients a riscos de reidentificació de les seves dades, fins i tot anonimitzades.
El consentiment informat esdevé més complex amb la introducció de la intel·ligència artificial. Els pacients, sovint poc familiaritzats amb aquestes tecnologies, poden desenvolupar expectatives irreals o, al contrari, pors infundades. Els cirurgians han d’explicar clarament el paper de l’eina: es tracta d’una ajuda per al diagnòstic, d’una guia de navegació o d’un assistent actiu durant l’operació? També han de descriure les garanties existents, com la seva capacitat per verificar i contradir les recomanacions de l’eina. A més, els cirurgians han d’informar els pacients sobre la seva pròpia formació i experiència amb aquests sistemes.
La qüestió de la responsabilitat en cas d’error mèdic es complica amb l’ús de la intel·ligència artificial. Tradicionalment, el cirurgià assumeix tota la responsabilitat de les decisions preses a la sala d’operacions. Però si un sistema proposa una recomanació errònia que ha causat un dany, qui és responsable? El cirurgià per haver-la seguit, el desenvolupador per un defecte de disseny o el centre per una implementació negligent? Els tribunals podrien considerar responsables els fabricants si un algoritme defectuós o mal provat ha portat a un error. Els hospitals, per la seva banda, podrien ser jutjats com a negligents si utilitzen un sistema no validat o mal mantingut. Quant al cirurgià, segueix obligat a complir les normes d’atenció i no pot desentendre’s de la seva responsabilitat culpar l’eina.
Els riscos no es limiten als errors mèdics. Un ús incorrecte de la intel·ligència artificial també pot erosionar la confiança entre el pacient i el cirurgià. Si el pacient perceb que les decisions es prenen per un algoritme en lloc del seu metge, la relació de confiança pot afeblir-se. A més, la manca de transparència o un error de l’eina pot danyar duradorament aquesta confiança, tant envers el clínic com envers el sistema de salut en el seu conjunt.
Per atenuar aquests riscos, es requereix una governança robusta. Els centres sanitaris han de posar en marxa comitès dedicats per avaluar els sistemes de intel·ligència artificial abans de la seva adopció. Aquests comitès han d’assegurar-se que els desenvolupadors subministrin manuals d’ús complets, sessions de formació i directrius de seguretat. També és necessària una vigilància contínua del rendiment per detectar qualsevol degradació o derivació del model. Les societats científiques i les institucions mèdiques també tenen un paper important en establir normes per a la formació i la certificació dels cirurgians que utilitzen aquestes eines.
Finalment, la col·laboració entre hospitals, desenvolupadors i reguladors és essencial per harmonitzar les pràctiques i garantir un ús segur i ètic de la intel·ligència artificial en cirurgia. Sense això, els avenços tecnològics podrien fer-se a costa de la seguretat dels pacients i la qualitat de l’atenció.
Références des contenus
Référence officielle
DOI : https://doi.org/10.1007/s00464-026-12881-8
Titre : Risk and liability in the deployment of AI systems for surgery: a SAGES white paper
Revue : Surgical Endoscopy
Éditeur : Springer Science and Business Media LLC
Auteurs : Daniel A. Hashimoto; Jayson S. Marwaha; Sharon A. Lee; Steven Schwaitzberg; Mindy N. Duffourc