Die Agentur für Innovation in der Cybersicherheit (Cyberagentur) hat im März eine Ausschreibung zum ‚Robusten und Sicheren Maschinellen Lernen‘ gestartet. Ziel des Forschungsprojektes ist die Steigerung der Verlässlichkeit und Manipulationssicherheit verschiedener KI-Ansätze.
Das Maschinelle Lernen (ML) in verschiedenen Ausprägungen hat sich angesichts stetig steigender Performance und zunehmender Vielseitigkeit zu einem maßgeblichen Analysewerkzeug für immer größere und komplexere Datenmodelle entwickelt. Als Beispiel nennt die Cyberagentur die Bildererkennung beim autonomen Fahren. Schon unscheinbare Änderungen an Verkehrsschildern könnten zu einer Fehlfunktion des Fahralgorithmus führen, so die Wissenschaftler. Die Erforschung beweisbarer Sicherheit und deren Grenzen sowie inhärente Robustheit gegenüber solchen Angriffen stehe dabei noch am Anfang. Größte Schwachstellen des maschinellen Lernens seien die große Abhängigkeit von Trainingsdaten und die Intransparenz der trainierten Modelle. Dadurch führten unerwartete Eingaben mitunter zu unvorhergesehenen und schwer nachvollziehbaren – und im Einzelfall möglicherweise katastrophalen – Ergebnissen. Ein weiteres Beispiel finde sich in der aktuellen Diskussion um KI-Chatbots, so die Cyberagentur-Verantwortlichen. Mittels manipulierter Befehle (‚Prompt Injection‘) können Sprachmodelle nachweislich zu unbeabsichtigten und potenziell folgenschweren Aussagen verleitet werden.
Vor diesem Hintergrund wurde das neue Forschungsvorhaben entwickelt. „Ziel ist die Erforschung und Entwicklung neuer, potenziell bahnbrechender Ansätze zur Steigerung der Robustheit und Sicherheit verschiedener KI-Ansätze in den Domänen der inneren und äußeren Sicherheit“, erklärt Dr. Daniel Gille (Bild), Projektleiter und Leiter ‚Sicherheit durch KI und Sicherheit für KI‘ in der Cyberagentur, den Ansatz der Ausschreibung des Forschungsprojektes. Für den fünf Phasen umfassenden Projektwettbewerb wurden fünf Forschungsschwerpunkte herausgestellt: Datenabsicherung, Modellverifikation, Systemeinbettung, Hybridmodelle aus neuronalen und symbolischen Komponenten sowie Ende-zu-Ende-Verifikation. „Wir möchten Antworten auf einige der ungelösten Fragen im oft vernachlässigten Themenbereich Sicherheit für KI finden“, sagt Gille. „Diese sind beispielsweise: Wie und in welchem Umfang können Sicherheits- und Robustheitseigenschaften für spezifische Anwendungsdomänen und Systeme nachgewiesen werden? Wo liegen die Grenzen einer Nachweisbarkeit und wie lassen sich Systeme mit wünschenswerten Sicherheitseigenschaften als Prototyp realisieren?“ In den fünf Jahren Projektlaufzeit soll sowohl Grundlagenforschung stattfinden als auch Prototypen entstehen. Die Cyberagentur plant die parallele Beauftragung mehrerer Bieter bzw. Bietergemeinschaften. Im Rahmen des geplanten ‚Wettbewerbs der Ideen‘ sollen die Ergebnisse phasenweise evaluiert und das Teilnehmerfeld schrittweise verkleinert werden. Der überzeugendste Ansatz verbleibt bis zum Abschluss der letzten Phase im Wettbewerb. Dort besteht dann die Möglichkeit, entwickelte Artefakte im Rahmen einer realistischen Testumgebung zu erproben und evaluieren. Angebote abgeben können alle akademischen und außeruniversitären Forschungseinrichtungen, Industrieunternehmen und Startups.
