Compliance & Sicherheit bei KI-Sprachagenten: Was Unternehmen wissen müssen

Ein Gesundheitsdienstleister will Anrufe zur Terminvereinbarung automatisieren. Bevor der erste Anruf live geht, braucht er Antworten auf ganz konkrete Fragen: Wie werden Patientendaten bei der Übertragung und bei der Speicherung geschützt? Wie werden Anrufer authentifiziert, bevor kontobezogene Details genannt werden? Gibt es einen Audit-Trail für jede Interaktion? Und unterstützt die Plattform tatsächlich die HIPAA-Pflichten, die mit der Verarbeitung geschützter Gesundheitsdaten einhergehen? Auch nur eine dieser Fragen zu überspringen ist kein kleines Versäumnis. Es ist eine Compliance-Lücke, die zum denkbar schlechtesten Zeitpunkt auffliegt, meist im Audit oder nach einem Vorfall.

Genau das ist die Realität, wenn ein Unternehmen mit sensiblen Informationen einen KI-Sprachagenten einführt. Die Automatisierung ist der sichtbare Teil. Sicherheit und Compliance entscheiden darüber, ob sich die Automatisierung überhaupt sicher betreiben lässt.

Warum Sicherheit bei KI-Sprachagenten so wichtig ist

Ein KI-Sprachagent kommt mit mehr sensiblen Informationen in Berührung, als es auf den ersten Blick scheint. Ein einziger Anruf kann die Identität des Anrufers umfassen, seine Telefonnummer, das komplette Gespräch selbst, unter Umständen Zahlungsdaten und alles, was anschließend in den CRM-Datensatz zurückgeschrieben wird.

Ein vereinfachter Blick darauf, wohin diese Informationen fließen:

Jeder dieser Schritte ist ein Punkt, an dem sensible Daten übertragen, verarbeitet oder gespeichert werden. Je geschäftskritischer der Workflow, etwa die Buchung eines Arzttermins statt einer allgemeinen Produktfrage, desto strenger müssen die Sicherheitsanforderungen an jeder Station dieses Ablaufs sein.

Compliance bei KI-Sprachagenten verstehen

Eine Unterscheidung, bei der Präzision zählt: Compliance und Sicherheit hängen zusammen, sind aber nicht austauschbar. Beides gleichzusetzen ist ein häufiger Fehler auf der Käuferseite.

• Sicherheit ist die technische und organisatorische Arbeit: Verschlüsselung, Zugriffskontrollen, Monitoring, Incident Response.
• Compliance bedeutet, eine konkrete rechtliche, regulatorische oder vertragliche Anforderung zu erfüllen. Das setzt in der Regel starke Sicherheit voraus, hängt aber auch von Richtlinien, Dokumentation und Prozessen ab, die über die Technik hinausgehen.

Eine hilfreiche Art, sich den Zusammenhang vorzustellen:

Du kannst stark abgesichert sein und trotzdem nicht konform mit einer bestimmten Regulierung, die du nie formell angegangen bist. Umgekehrt wirst du kaum konform sein, ohne solide Sicherheit als Grundlage.

Diese Sicherheitsfunktionen solltest du prüfen

Wichtige Compliance-Standards

Ein kurzer, nicht juristischer Überblick, wann welcher Standard relevant wird, denn das unterscheidet sich stark je nach Branche und Kundenbasis:

• DSGVO ist die Datenschutz-Grundverordnung der EU. Sie gilt, sobald du personenbezogene Daten von Personen in der EU verarbeitest, ganz gleich, wo dein Unternehmen seinen Sitz hat.
• SOC 2 ist ein Audit-Framework des AICPA und das, was Enterprise-Käufer üblicherweise verlangen, bevor sie überhaupt einen Vertrag unterschreiben. Es basiert auf fünf Vertrauenskategorien: Sicherheit, Verfügbarkeit, Verarbeitungsintegrität, Vertraulichkeit und Datenschutz. Jeder SOC-2-Bericht enthält die Security Trust Services Criteria, die übrigen Kriterien sind je nach Prüfungsumfang optional.
• ISO 27001 ist der internationale Standard für Informationssicherheits-Management, gemeinsam veröffentlicht von ISO und IEC. Er taucht im Enterprise-Einkauf außerhalb der USA ständig auf, mal neben SOC 2, mal an dessen Stelle.
• HIPAA ist das US-Bundesgesetz zum Schutz von Gesundheitsdaten, durchgesetzt über eine Privacy Rule und eine Security Rule, die das US-Gesundheitsministerium (HHS) verwaltet. Sobald ein Anbieter Gesundheitsdaten verarbeitet, braucht es ein unterzeichnetes Business Associate Agreement, nicht nur die vage Zusicherung, dass Datenschutz ernst genommen wird.
• PCI DSS ist der globale Standard für Kartenzahlungen, betrieben vom PCI Security Standards Council. Er gilt für alle, die Karteninhaberdaten speichern, verarbeiten oder übertragen.

Nichts davon ist Rechtsberatung, und häufig gelten mehrere Standards gleichzeitig. Ein Gesundheitsdienstleister mit Patienten in der EU, der einen Enterprise-Beschaffungsprozess durchläuft, hat realistischerweise HIPAA, DSGVO und SOC 2 gleichzeitig auf dem Tisch.

An dieser Stelle erwähnenswert: Mehrere Plattformen für KI-Sprachagenten, darunter auch telli, sind von Grund auf darauf ausgelegt, mehrere dieser Standards gleichzeitig zu erfüllen, statt sie später als einzelne Häkchen abzuarbeiten. telli ist DSGVO-, SOC-2- und HIPAA-konform und hostet die LLMs für Kundengespräche auf Infrastruktur in der EU, gezielt um diese Anforderungen zu unterstützen. Eine solche Infrastrukturentscheidung, und nicht nur ein Compliance-Badge auf der Preisseite, sagt meist mehr darüber aus, wie ernst ein Anbieter Compliance nimmt, als die Liste der Zertifikate allein.KI-spezifische Sicherheitsrisiken

Hier bringen KI-Sprachagenten Risiken mit, mit denen sich eine klassische Telefonanlage nie auseinandersetzen musste:

Prompt Injection

Geschäftsrisiko: Ein Anrufer bringt das Modell dazu, private Informationen preiszugeben oder sich außerhalb seiner vorgesehenen Grenzen zu verhalten. Kann genutzt werden, um Daten abzugreifen.

Gegenmaßnahme: Strikte Eingabevalidierung und Monitoring der Anrufe auf Injection-Versuche.

Halluzinationen

Geschäftsrisiko: Das Modell wirkt, als würde es korrekte Informationen liefern, erfindet sie aber in Wirklichkeit. Das kann Kunden schaden oder rechtliche Haftung nach sich ziehen.

Gegenmaßnahme: Den Agenten so konfigurieren, dass er nur antwortet, wenn freigegebene Wissensquellen die Antwort stützen, mit Fallback-Antworten für den Fall, dass keine verlässliche Antwort möglich ist.

Prompt Leakage

Geschäftsrisiko: Ein Anrufer versucht, dem Modell durch gezielte Fragen Informationen über dessen interne Funktionsweise zu entlocken.

Gegenmaßnahme: Das Modell so konfigurieren, dass es nichts über sich selbst preisgibt, und es gegen gängige Injection-Versuche testen.

Offenlegung sensibler Daten

Geschäftsrisiko: Ein Anrufer gelangt versehentlich oder absichtlich an private Informationen über einen anderen Kunden.

Gegenmaßnahme: Niemals Informationen über andere Kunden herausgeben, selbst wenn es so wirkt, als hätten diese es selbst angefragt.

Missbrauch des Modells

Geschäftsrisiko: Das Modell wird für Zwecke außerhalb seines vorgesehenen Rahmens genutzt, etwa für Spam oder Betrugsmaschen.

Gegenmaßnahme: Solchen Missbrauch auf Plattformebene überwachen und unterbinden.

Social Engineering

Geschäftsrisiko: Ein Angreifer gibt sich als anderer Kunde aus, um an Informationen zu gelangen oder eine Aktion auszuführen, zu der er nicht berechtigt ist.

Gegenmaßnahme: Anrufe authentifizieren, bevor Informationen geteilt oder Aktionen ausgeführt werden, die eine Autorisierung erfordern.

Voice Spoofing

Geschäftsrisiko: Ein Angreifer imitiert die Stimme eines Kunden, um sich als diese Person auszugeben.

Gegenmaßnahme: Bei sensiblen Vorgängen nie allein anhand der Stimme authentifizieren.

Wissensdatenbanken und Integrationen absichern

Nicht nur die KI selbst braucht Absicherung. Alles, womit sie verbunden ist, also Wissensdatenbanken, CRM-Systeme, Kalender und interne Tools, verdienen dieselbe Sorgfalt. Denn ein gut abgesicherter KI-Agent an einer schlecht abgesicherten CRM-Integration bleibt eine echte Schwachstelle.

Die Architektur, die du durchdenken solltest:

Setze durchgängig auf das Least-Privilege-Prinzip: Die KI sollte nur genau das lesen und schreiben dürfen, was der jeweilige Workflow erfordert, und nicht breiten Zugriff auf jedes CRM-Feld haben, nur weil die Integration so am schnellsten eingerichtet war.

Aufsicht und Zugriffskontrollen

Sobald ein Deployment über einen kleinen Piloten hinauswächst, wird Aufsicht genauso wichtig wie jede einzelne technische Kontrolle. Diese Dinge sollten stehen:

• Admin-Rollen, die klar trennen, wer Analytics einsehen, wer Prompts bearbeiten und wer Integrationen verwalten darf
• Freigabe-Workflows für Prompts, damit Änderungen erst geprüft werden, bevor sie echte Anrufer erreichen, und nicht direkt von der Bearbeitung in die Produktion gehen
• Versionskontrolle für Prompts, mit der Möglichkeit, eine Änderung zurückzurollen, die schlechter funktioniert als erwartet
• Change-Management-Dokumentation, damit klar nachvollziehbar ist, was sich wann und warum geändert hat
• Audit-Historie für Anrufe und Konfigurationsänderungen
• Nutzerberechtigungen, die regelmäßig überprüft werden, statt einmal bei der Einführung gesetzt und dann vergessen

Fragen, die du jedem Anbieter stellen solltest

Beim Kauf eines KI-Sprachagenten lohnt es sich, die folgenden Fragen schriftlich zu stellen, statt anzunehmen, dass die öffentlichen Aussagen eines Anbieters alles abbilden, was er tatsächlich kann:

• Wo werden Kundendaten gespeichert? Hat das Auswirkungen darauf, ob du regulatorische Vorgaben einhalten kannst?
• Wie lange werden Gespräche aufbewahrt, und lässt sich das konfigurieren?
• Sind Transkripte und Aufzeichnungen verschlüsselt?
• Wird rollenbasierte Zugriffskontrolle unterstützt?
• Welche Compliance-Standards werden unterstützt? Gibt es Dokumentation, die das belegt?
• Wie werden Prompts verwaltet, und gibt es einen Freigabe-Workflow, bevor Änderungen wirksam werden?
• Können Kundendaten gelöscht werden, und wenn ja, wie schnell?
• Wenn eine Regulierung die Aufzeichnung von Gesprächen verlangt: Wie wird die Einwilligung eingeholt? Einige Plattformen, darunter telli, bringen von Haus aus eine Funktion mit, um die mündliche Einwilligung des Anrufers einzuholen, bevor die Aufzeichnung beginnt.

Häufige Sicherheitsfehler

Überprivilegierte Konten

Geschäftsrisiko: Ein kompromittiertes Konto kann auf mehr Informationen zugreifen oder mehr verändern, als der Nutzer eigentlich dürfte.

Empfehlung: Nur Zugriff auf die Informationen gewähren, die jemand für die eigene Arbeit tatsächlich braucht.

Unverschlüsselte Verbindungen

Geschäftsrisiko: Informationen zwischen dem KI-Sprachagenten und verbundenen Systemen werden von Unbefugten abgefangen.

Empfehlung: Sicherstellen, dass alle Verbindungen verschlüsselt sind.

Schwache Authentifizierung

Geschäftsrisiko: Ein Konto wird kompromittiert, weil schwache Zugangsdaten zu leicht zu erraten sind.

Empfehlung: Multi-Faktor-Authentifizierung für Kontozugriff und Prompt-Bearbeitung verpflichtend machen.

Fehlendes Logging

Geschäftsrisiko: Ein Sicherheitsvorfall lässt sich nicht aufklären, weil Logs unzureichend sind oder ganz fehlen.

Empfehlung: Logging und Auditing von Anfang an ins Deployment einplanen, statt sie später nachzurüsten.

Keine Aufsicht

Geschäftsrisiko: Prompts und Berechtigungen werden ohne Kontrolle geändert, was Sicherheitslücken öffnen kann.

Empfehlung: Grundlegende Aufsicht-Prozesse aufsetzen, bevor der Sprachagent live geht.

Mangelhafte Anbieterprüfung

Geschäftsrisiko: Es wird angenommen, dass ein Anbieter ausreichende Sicherheit bietet, obwohl seine öffentlichen Aussagen in Wirklichkeit irreführend sind.

Empfehlung: Anbieter um Dokumentation bitten, statt sich auf Zusicherungen Dritter zu verlassen.

Enterprise-Sicherheitscheckliste

Identität

• MFA für alle administrativen Zugriffe verpflichtend
• Rollenbasierte Zugriffskontrolle eingerichtet und regelmäßig überprüft

Daten

• Verschlüsselung bei Übertragung und Speicherung bestätigt
• Aufbewahrungsfristen definiert und konfigurierbar
• Klarer Prozess für Löschanfragen

Infrastruktur

• Datenstandort gegen deine konkreten regulatorischen Anforderungen geprüft
• API-Sicherheit für jeden Integrationspunkt geprüft

KI

• Schutzmaßnahmen gegen Prompt Injection getestet
• Grounding- und Fallback-Verhalten bestätigt, um das Halluzinationsrisiko zu senken
• Trennung sensibler Daten über Kundendatensätze hinweg verifiziert

Aufsicht

• Admin-Rollen und Berechtigungen klar definiert
• Freigabeprozess und Versionskontrolle für Prompts etabliert

Compliance

• Relevante Nachweise (SOC 2, ISO 27001, HIPAA, DSGVO) schriftlich bestätigt
• Business Associate Agreement vorhanden, falls Gesundheitsdaten verarbeitet werden

Monitoring

• Echtzeit-Monitoring auf ungewöhnliche Aktivitäten
• Audit-Logs für Anrufe und Konfigurationsänderungen

Incident Response

• Dokumentierter Incident-Response-Plan, getestet statt nur theoretisch
• Klare Frist für Benachrichtigungen bei Datenpannen im Anbietervertrag definiert

Was das für dich bedeutet

Starke Sicherheit bei KI-Sprachagenten entsteht nicht dadurch, einen einzelnen Compliance-Standard abzuhaken und weiterzuziehen. Sie braucht eine sichere Architektur von Anfang an, fortlaufende Aufsicht, wenn das Deployment wächst, kontinuierliches Monitoring und laufendes Risikomanagement statt einer einmaligen Prüfung. Wer KI-Sprachagenten-Plattformen bewertet, sollte Sicherheit und Compliance von Anfang an genauso gewichten wie KI-Fähigkeiten, Integrationen und Analytics, und nicht erst dann, wenn der Rest der Entscheidung schon gefallen ist.

Wenn du überlegst, wie du KI-Sprachagenten richtig einführst, buche einen Termin mit einem der Automatisierungsexperten von telli.

Verwendete Quellen

1. commission.europa.eu - Offizieller Rechtsrahmen der DSGVO, Europäische Kommission
2. aicpa-cima.com - SOC 2 Trust Services Criteria, AICPA
3. iso.org - Offizielle Standardseite zu ISO/IEC 27001
4. hhs.gov - Zusammenfassung der HIPAA Privacy Rule, U.S. Department of Health and Human Services
5. pcisecuritystandards.org - PCI DSS, offizieller Standard des PCI Security Standards Council
6. telli.com - Compliance-Aufstellung von telli (DSGVO, SOC 2, HIPAA), EU-Hosting und Einwilligungs-Flow für Gesprächsaufzeichnungen