Auditierung Basemodel - Workflow
Innerhalb einer gesicherten und produktiven Arbeitsumgebung ist die Nachvollziehbarkeit und Prüfung der relevanten Systembestandteile verpflichtend. Um interne und externe Zertifizierungen sowie Audit´s transparent und effektiv zu gestalten, sind die Workflows und Modelle von modula-r.com zielgerichtet entwickelt. Zum einen werden eingesetzte Grundmodelle (sog. Basemodels) mit einem Audit-header versehen, durch SHA-HASH und Key zuweisend abgesichert. Zum anderen werden in den verschlüsselten Logdateien, die Datengrundlagen zur Spiegelprobe während eines Audits angeboten. So bleiben alle gesicherten und vollständig nachvollziehbaren Standarts innerhalb des Prüfzyklus. Eine Manipulation oder ein Fehler würden sofort auffallen und die Prüfkette öffnen.
Sehen wir uns das einmal genauer an.
In den folgenden Readouts/Leseproben sehen Sie beispielhaft wie der genaue Ablauf ist und was es mit "Absicherung" auf sich hat.
In erstem Beispiel sehen Sie den Logeintrag entschlüsselt, wenn ein Model "roh" geladen wird. Also völlig "unaudifiziert".
Einer Prüfung, egal ob intern oder extern, darf ein so geladenes Model in keinem Fall standhalten. Der EU AI-Act hat klare Regeln.
Was fehlt hier?
- Der Modelname ist technisch explizit, aber nicht geeignet für ein Audit.
- Fehlen der Meta-header. Eine .safetensors Datei kann und muss verpflichtend Meta-header enthalten.
- Nachvollziehbarkeit. Nur der Logeintrag selbst hat einen HASH-Prüfnachweis.
- Kein eindeutiger Key vohanden, um die Integrität belastbar zu belegen.
Wie sollte es bei einer Prüfung aussehen?
Der EU AI-ACT und natürlich andere zertifizierbare Prüfungsstandarts fordern eine klare, belastbare und nachvollziehbare Dokumentation. Je nach Einstufung. In diesem Fall sehen Sie die Vorbereitung, beispielhaft (keine produktiv verwendeten Keys), zu einer belastbaren und revisionssicheren Dokumentation.
Was sehen wir in folgendem Readout konkret?
- Der Modelname ist nun angepasst und geeignet für ein Audit.
- Die Metadaten sind vorhanden und sichern die Integritätsnachweise.
- Die SHA-Prüfsumme ist angegeben, pro Model als Unikat.
- Der Key ist integriert. So kann jetzt der Readout wie der Einsatz des Modelles als "schussfest" betrachtet werden, im Sinne einer Revision.
- Und natürlich werden auch hier die ersten Zeilen der Layer und Gewichte protokolliert, um die Belastbarkeit zu beweisen.
Auf interne und externe Prüfabläufe mit positivem Ausgang by Design vorbereitet zu sein, ist insgesamt eine große und verantwortungsvolle Aufgabe. Aber sehr transparent und sicher durchführbar. KI muss also keinen Rückschritt oder eine Funktionsbeschränkung erfahren, wenn die Dokumentationen und Integritätsnachweise stimmen. Das ist unsere Aufgabe.
Weiter ist es von großem Vorteil nicht auf die Kommunikation und Transparenz von Drittanbietern angewiesen zu sein. Diese sind oft schwierig in die produktive Umgebung einzubinden und teils noch sehr lückenhaft, für klare und rechtlich saubere Audits.
Weniger Zeit mit Frageklärung zu verbringen bedeutet auch, mehr Zeit für Produktion zur Verfügung zu haben.
Mehr zu unseren ProzessenAI-ACT 2024 QWEN EDIT|.V01 Video KI