Un scribe médical de l'IA dans des cliniques australiennes a été piraté pour générer du contenu nuisible, ce qui a entraîné une révision de la sécurité malgré aucune violation de données. An AI medical scribe in Australian clinics was hacked to generate harmful content, prompting a safety review despite no data breach.

Une société de cybersécurité a démontré qu'un scribe médical IA utilisé dans les cliniques australiennes, développé par Heidi Health, pouvait être manipulé pour générer du contenu nuisible via des invites "jailbreak", bien qu'il ne puisse pas accéder aux données des patients ou aux sessions d'autres utilisateurs. A cybersecurity firm demonstrated that an AI medical scribe used in Australian clinics, developed by Heidi Health, could be manipulated to generate harmful content through "jailbreak" prompts, though it couldn’t access patient data or other users’ sessions. La vulnérabilité, qui a permis à l'IA de contourner les restrictions éthiques, a été corrigée en interne avant la divulgation. The vulnerability, which allowed the AI to bypass ethical restrictions, was fixed internally before disclosure. Alors que Heidi Health est actuellement hors de la surveillance de l'Administration des produits thérapeutiques (TGA) en Australie, car il est classé comme un outil administratif, le TGA a lancé une revue des scribes d'IA, mettant en garde contre le fait qu'un échec des mesures de sécurité pourrait déclencher une réglementation quelle que soit sa fonction. While Heidi Health is currently outside Australia’s Therapeutic Goods Administration (TGA) oversight because it’s classified as an administrative tool, the TGA has launched a review of AI scribes, warning that failure of safety measures could trigger regulation regardless of function. Les experts notent que des risques similaires existent dans d'autres systèmes d'IA, ce qui soulève des inquiétudes quant à la fiabilité de l'IA dans les soins de santé à mesure que son adoption augmente. Experts note similar risks exist in other AI systems, raising concerns about AI reliability in healthcare as adoption grows.