Einkauf von KI im IT-Einkauf – Was ist rechtlich zu beachten?

Unternehmen beschaffen zunehmend KI-Lösungen: einen KI-Assistenten für Mitarbeitende, eine KI-Funktion innerhalb bestehender SaaS-Produkte, eine API zur Integration eines Large Language Models oder eine individuell entwickelte KI-Anwendung.

Für den IT-Einkauf entsteht damit eine neue Herausforderung. Denn beim Einkauf von Künstlicher Intelligenz genügt es nicht mehr, lediglich Preis, Informationssicherheit, Datenschutz und die üblichen Vertragsbedingungen zu prüfen.

Vor der Beschaffung sollte geklärt werden, was technisch und rechtlich überhaupt eingekauft wird, welche Rolle das eigene Unternehmen dabei übernimmt, welche regulatorischen Anforderungen für den konkreten Anwendungsfall gelten und ob das Unternehmen ausreichende Kontrolle über seine Daten behält.

Eine rechtssichere KI-Beschaffung lässt sich dabei entlang von acht Fragen strukturieren.

1. Was beschaffen wir eigentlich?

Die erste Frage klingt banal, ist aber entscheidend:

Handelt es sich überhaupt um ein KI-System im Sinne der KI-Verordnung?

Nicht jede komplexe Software ist automatisch Künstliche Intelligenz. Deshalb sollte der IT-Einkauf zunächst klären, wie die betreffende Anwendung technisch funktioniert und welche Funktion die KI innerhalb des Produkts tatsächlich übernimmt.

Gleichzeitig ist zu unterscheiden, was technisch beschafft wird:

• ein fertiges SaaS-KI-System,
• eine KI-Funktion innerhalb eines bestehenden SaaS-Produkts,
• ein KI-Modell bzw. eine API zur Integration in eigene Systeme oder
• eine Individual- oder Eigenentwicklung.

Diese Unterscheidung ist wesentlich. Denn die rechtliche Bewertung kann sich erheblich unterscheiden, je nachdem, ob ein Unternehmen beispielsweise lediglich einen fertigen KI-Assistenten intern verwendet oder ein fremdes KI-Modell in sein eigenes Softwareprodukt integriert.

Ebenso wichtig ist der konkrete Verwendungszweck. Der IT-Einkauf sollte daher nicht nur den Produktnamen dokumentieren, sondern zumindest folgende Fragen beantworten:

Welches Problem soll die KI lösen? Wer nutzt sie? Welche Daten gelangen in das System? Welchen Output erzeugt sie? Und wofür wird dieser Output anschließend verwendet?

Erst wenn der tatsächliche Use Case feststeht, ist eine sinnvolle rechtliche Prüfung möglich.

2. Welche Rolle übernimmt unser Unternehmen nach dem AI Act?

Im nächsten Schritt ist die eigene Rolle nach der KI-Verordnung zu bestimmen.

Die KI-Verordnung unterscheidet insbesondere zwischen Anbietern, Betreibern, Einführern und Händlern.

Für einen klassischen IT-Einkauf wird häufig zunächst die Rolle des Betreibers relevant sein: Ein Unternehmen beschafft ein fremdes KI-System und verwendet dieses innerhalb der eigenen Organisation.

Dabei darf die Prüfung aber nicht enden.

Besondere Vorsicht ist beispielsweise geboten, wenn ein Unternehmen:

• eine KI-Lösung unter der eigenen Marke anbietet,
• ein bestehendes KI-System wesentlich verändert,
• dessen Zweckbestimmung verändert oder
• KI in ein eigenes Produkt integriert.

Die Rolle sollte deshalb nicht anhand der Bezeichnung im Vertrag bestimmt werden, sondern anhand des tatsächlichen Einsatzszenarios.

Praxis-Tipp: Der Einkauf sollte im Beschaffungsakt ausdrücklich dokumentieren, welche Rolle das Unternehmen nach der KI-Verordnung einnimmt und warum.

3. Welche Risikokategorie hat das KI-System?

Die KI-Verordnung verfolgt einen risikobasierten Ansatz. Für den Einkauf ist daher besonders wichtig zu klären, in welche regulatorische Kategorie das konkrete System fällt.

Insbesondere ist zu unterscheiden zwischen:

• verbotenen KI-Praktiken,
• Hochrisiko-KI-Systemen,
• KI-Systemen mit besonderen Transparenzanforderungen und
• sonstigen KI-Systemen.

Besondere Aufmerksamkeit verlangt die Hochrisiko-Einstufung.

Hier muss unter anderem geprüft werden, ob das System unter die produktbezogene Hochrisiko-Kategorie oder einen der besonders regulierten Anwendungsbereiche fällt. Der konkrete Verwendungszweck ist dabei wiederum entscheidend.

Typischerweise sollte der Einkauf daher nicht nur danach fragen, welche Technologie gekauft wird, sondern vor allem:

Welche Entscheidung wird mit dieser KI vorbereitet oder getroffen und welche Auswirkungen kann diese Entscheidung auf Menschen haben?

Bei Hochrisiko-KI steigen die Anforderungen erheblich. Themen wie Risikomanagement, Data Governance, technische Dokumentation, Logging, menschliche Aufsicht, Genauigkeit, Robustheit und Cybersicherheit werden dann besonders relevant.

Für den IT-Einkauf bedeutet dies praktisch: Die erforderlichen Informationen und Nachweise müssen möglichst bereits während der Anbieterprüfung verfügbar sein.

4. Welche personenbezogenen Daten verarbeitet die KI?

Neben der KI-Verordnung bleibt die DSGVO uneingeschränkt relevant.

Vor der Beschaffung sollte daher der tatsächliche Datenfluss verstanden werden:

Nutzer → KI-System → Anbieter → Subdienstleister bzw. Modellprovider → Output

Dabei ist nicht nur zu klären, welche personenbezogenen Daten verarbeitet werden. Ebenso wichtig ist die Frage, wer für welche Verarbeitung verantwortlich ist.

Zu prüfen sind insbesondere:

• Verantwortlicher oder Auftragsverarbeiter?
• Ist eine Vereinbarung zur Auftragsverarbeitung nach Art. 28 DSGVO erforderlich?
• Welche Subauftragsverarbeiter werden eingesetzt?
• Welche technischen und organisatorischen Maßnahmen bestehen?
• Müssen bestehende Datenschutzinformationen angepasst werden?
• Werden Daten in Drittländer übermittelt?
• Ist vor dem Einsatz eine Datenschutz-Folgenabschätzung erforderlich?

Gerade bei KI-Produkten sollte der Einkauf deshalb Datenschutz nicht erst nach Vertragsabschluss einbeziehen.

Der Datenfluss sollte vor der Beschaffungsentscheidung feststehen.

5. Behalten wir die Kontrolle über unsere Daten?

Eine Frage gewinnt bei der Auswahl von KI-Anbietern zusätzlich an Bedeutung: Datensouveränität.

Dabei geht es um mehr als DSGVO-Konformität.

Ein KI-System kann datenschutzrechtlich zulässig sein und trotzdem zu erheblichen technischen oder wirtschaftlichen Abhängigkeiten führen.

Vor der Beschaffung sollte daher geklärt werden:

• Wo werden Prompts, Outputs, Logs und Backups gespeichert?
• Wo findet die eigentliche Verarbeitung statt?
• Wer kann auf die Daten zugreifen?
• Welche Subdienstleister und Modellprovider sind eingebunden?
• Werden Daten ausschließlich zur Leistungserbringung genutzt oder auch zur Produktverbesserung bzw. zum Training?
• Können Daten bei Vertragsende vollständig exportiert werden?
• Können sie anschließend gelöscht werden?
• Wie einfach ist ein Anbieterwechsel?
• Entsteht ein technischer oder wirtschaftlicher Lock-in?

Besonders bei strategisch wichtigen Anwendungen kann zusätzlich eine EU-Only-Strategie sinnvoll sein. Dabei reicht es nicht unbedingt aus, lediglich einen europäischen Serverstandort zu vereinbaren. Vielmehr ist zu prüfen, welche Unternehmen tatsächlich Zugriff auf die Daten haben, welche Subdienstleister eingesetzt werden und welche technischen und organisatorischen Abhängigkeiten bestehen.

Datensouveränität wird damit zu einem eigenständigen Beschaffungskriterium.

6. Womit wird die KI trainiert?

Bei generativer KI sollte der Einkauf zwei Sachverhalte strikt auseinanderhalten:

Wie wurde das zugrunde liegende Modell ursprünglich trainiert?

und

Was geschieht mit den Daten des eigenen Unternehmens nach der Einführung?

Insbesondere die zweite Frage ist unmittelbar beschaffungsrelevant.

Der Vertrag und die technische Konfiguration sollten eindeutig beantworten, ob Prompts, hochgeladene Dokumente, Outputs oder sonstige Nutzungsdaten für folgende Zwecke verwendet werden dürfen:

• Training,
• Fine-Tuning,
• Modellverbesserung,
• Benchmarking oder
• sonstige Produktentwicklung.

Gerade Geschäftsgeheimnisse, Source Code, Kundendokumentationen, Vertragsunterlagen oder internes Know-how sollten nicht unkontrolliert in Trainingsprozesse des Anbieters gelangen.

Ein bloßer Hinweis auf „AI Features“ oder „Service Improvement“ in Vertragsbedingungen sollte deshalb nicht ungeprüft akzeptiert werden.

Die erlaubten Nutzungszwecke der Unternehmensdaten gehören ausdrücklich in die Anbieter- und Vertragsprüfung.

7. Wer muss was wissen?

Mit Vertragsunterzeichnung ist die rechtliche Prüfung nicht abgeschlossen.

Das Unternehmen muss auch organisatorisch in der Lage sein, die beschaffte KI rechtskonform einzusetzen.

Dazu gehört insbesondere die notwendige KI-Kompetenz der Personen, die mit dem System arbeiten.

Der Einkauf sollte deshalb gemeinsam mit Legal, IT, Informationssicherheit, Datenschutz und dem jeweiligen Fachbereich festlegen:

• Wer darf das System verwenden?
• Für welche Zwecke darf es eingesetzt werden?
• Welche Daten dürfen eingegeben werden?
• Welche Outputs müssen menschlich kontrolliert werden?
• Welche Mitarbeitenden benötigen besondere Schulungen?
• Welche Transparenz- und Informationspflichten sind beim konkreten Einsatz zu beachten?

Eine gute KI-Beschaffung endet daher nicht mit einem unterschriebenen Vertrag, sondern mit einem kontrollierten Übergang in den operativen Betrieb.

8. Dürfen wir die KI beschaffen?

Am Ende sollte eine dokumentierte Procurement Decision stehen.

Das Ergebnis muss dabei nicht zwingend „Ja“ oder „Nein“ lauten. Sinnvoll ist vielmehr eine dreistufige Entscheidung:

GRÜN – Beschaffung möglich

Die wesentlichen regulatorischen, datenschutzrechtlichen, vertraglichen und technischen Fragen wurden geklärt. Die erforderlichen Nachweise liegen vor.

GELB – Beschaffung unter Auflagen

Bestimmte Informationen fehlen noch oder Risiken lassen sich durch vertragliche, technische oder organisatorische Maßnahmen reduzieren.

Beispiele können sein:

• Anpassung der Vertragsbedingungen,
• Abschluss einer Auftragsverarbeitungsvereinbarung,
• Ausschluss der Nutzung eigener Daten zu Trainingszwecken,
• Beschränkung des zulässigen Use Cases,
• Einführung zusätzlicher Human-Oversight-Maßnahmen oder
• Durchführung einer Datenschutz-Folgenabschätzung.

ROT – Keine Freigabe bzw. rechtliche Eskalation

Ein wesentliches Risiko lässt sich nicht ausreichend beherrschen oder die erforderlichen Informationen bzw. Nachweise fehlen.

Damit wird aus einer abstrakten Compliance-Prüfung eine nachvollziehbare Beschaffungsentscheidung.

Welche Unterlagen sollte der IT-Einkauf vom KI-Anbieter verlangen?

Die konkrete Dokumentation hängt vom jeweiligen System und Einsatz ab. Regelmäßig sollte jedoch geprüft werden, ob insbesondere folgende Unterlagen benötigt werden:

• technische Beschreibung des KI-Systems,
• Beschreibung des vorgesehenen Verwendungszwecks,
• Informationen zur Rolle des Anbieters nach der KI-Verordnung,
• Informationen zur Risikoklassifizierung,
• Datenschutzinformationen,
• Auftragsverarbeitungsvereinbarung,
• Liste der Subauftragsverarbeiter,
• technische und organisatorische Maßnahmen,
• Angaben zu Speicher- und Verarbeitungsorten,
• Informationen zu Modellprovider und weiteren Subdienstleistern,
• Regelungen zur Verwendung von Eingaben und Outputs für Trainings- oder Verbesserungszwecke,
• Lösch- und Aufbewahrungskonzept,
• Export- und Exit-Möglichkeiten sowie
• erforderliche Compliance- und Sicherheitsnachweise.

Welche Dokumente tatsächlich notwendig sind, sollte anhand des konkreten Use Cases festgelegt werden.

KI-Einkauf ist mehr als Vertragsprüfung

Der größte Fehler bei der Beschaffung von KI besteht darin, die rechtliche Prüfung auf den Vertrag oder eine isolierte AI-Act-Checkliste zu reduzieren.

Rechtssicherer KI-Einkauf ist ein Prozess.

Er beginnt mit der Frage, was technisch überhaupt gekauft wird und wofür das Unternehmen die KI einsetzen möchte. Erst danach lassen sich Rolle, Risikokategorie, Datenschutz, Datensouveränität, Trainingsdaten, Transparenz und organisatorische Anforderungen sinnvoll beurteilen.

Für Unternehmen empfiehlt sich deshalb ein standardisierter KI-Beschaffungsprozess:

**1. KI-System und Use Case erfassen  

2. Rolle nach der KI-Verordnung bestimmen  
3. Risikokategorie prüfen  
4. Datenschutz bewerten  
5. Datensouveränität sicherstellen  
6. Trainings- und Nutzungsrechte klären  
7. Transparenz und KI-Kompetenz organisieren  
8. Beschaffung dokumentiert freigeben**

So wird die rechtliche Prüfung nicht zum Hindernis des IT-Einkaufs, sondern zum Bestandteil einer professionellen Beschaffungsentscheidung.

Fazit

KI verändert nicht nur Softwareprodukte, sondern auch den IT-Einkauf.

Die entscheidende Frage lautet nicht mehr nur: „Funktioniert die Software und stimmt der Vertrag?“

Vielmehr muss der Einkauf wissen:

Was kaufen wir? Welche regulatorische Rolle übernehmen wir? Wie riskant ist der konkrete Einsatz? Was passiert mit unseren Daten? Wer darf darauf zugreifen und wofür werden sie verwendet? Und können wir die Beschaffung am Ende nachvollziehbar freigeben?

Wer diese Fragen frühzeitig in den Procurement-Prozess integriert, kann KI schneller und zugleich kontrollierter beschaffen.

Sie planen die Beschaffung oder Integration eines KI-Systems?

Die Rechtsanwaltskanzlei Dr. Tretzmüller unterstützt Unternehmen bei der rechtlichen Prüfung von KI-Produkten, der Gestaltung von KI-Verträgen und der Entwicklung rechtssicherer Beschaffungs- und Governance-Prozesse.

Mehr zum Thema bietet außerdem die Software Rechtsakademie im Kurs „Rechtssicherer Einkauf von KI im IT-Einkauf“.

‍

‍