Neben den offensichtlichen Vorteilen bergen LLM-Anwendungen Risiken beim Umgang mit sensiblen Prompts, die in bestimmten Anwendungsfällen vertrauliche Daten enthalten können und durch Fehler, Angriffe oder öffentliche Schnittstellen ungewollt preisgegeben werden. Betreiber haben meist technischen Zugriff auf Prompts und Modelle, was in bestimmten Domänen (z. B. im öffentlichen Sektor und im E-Health-Bereich) die Akzeptanz mindert. Confidential-Computing-Verfahren bieten dafür eine Lösung, indem die sensiblen Systemkomponenten in verschlüsselten Umgebungen ausgeführt werden und den Betreibern dadurch der Zugriff auf die Prompt-Inhalte entzogen wird. Dies führt wiederum dazu, dass weitere Anwendungsfälle im LLM-Bereich, die zuvor aus Datenschutz- und Compliance-Gründen nicht zulässig waren, nun ermöglicht werden.