BOOK
Cite BOOK
Style
Raji, B. (2023). Künstliche Intelligenz im öffentlichen Sektor. Verfassungs- und datenschutzrechtlicher Rahmen für den staatlichen Einsatz intelligenter Technologien. Duncker & Humblot. https://doi.org/10.3790/978-3-428-58838-1
Raji, Behrang. Künstliche Intelligenz im öffentlichen Sektor: Verfassungs- und datenschutzrechtlicher Rahmen für den staatlichen Einsatz intelligenter Technologien. Duncker & Humblot, 2023. Book. https://doi.org/10.3790/978-3-428-58838-1
Raji, B (2023): Künstliche Intelligenz im öffentlichen Sektor: Verfassungs- und datenschutzrechtlicher Rahmen für den staatlichen Einsatz intelligenter Technologien, Duncker & Humblot, [online] https://doi.org/10.3790/978-3-428-58838-1
Format
Künstliche Intelligenz im öffentlichen Sektor
Verfassungs- und datenschutzrechtlicher Rahmen für den staatlichen Einsatz intelligenter Technologien
Internetrecht und Digitale Gesellschaft, Vol. 48
(2023)
Additional Information
Book Details
Pricing
About The Author
Behrang Raji ist Rechtsanwalt und Syndikusrechtsanwalt für ein führendes Unternehmen in der Life-Science-Branche. Er hält regelmäßig Vorträge und publiziert zu datenschutzrechtlichen Themen. Er lehrt an der Fachhochschule Wedel Datenschutz- und Datenrecht.Abstract
Der Staat kann durch den Einsatz von künstlicher Intelligenz seine Aufgaben effizienter wahrnehmen. Eine zentrale Aufgabe, die dem Menschen zukommt, ist die Kontrolle und das Trainieren von KI-Systemen. Die Arbeit legt für Juristen verständlich die Funktionsweise von sog. selbstlernenden algorithmischen Systemen dar. Vor diesem Hintergrund werden rechtlich unverrückbare Grenzen für den staatlichen Einsatz von künstlicher Intelligenz aufgezeigt. Der Autor kommt zu dem Ergebnis, dass verfassungsrechtliche Grundprinzipien wie das Demokratie- und Rechtsstaatsprinzip, aber auch die Grundrechte dem Staat eine Pflicht auferlegen, eine Kontrollstruktur für den Einsatz von KI zu schaffen. Da es sich bei KI-Systemen um datengetriebene Systeme handelt, erfolgen auch datenschutzrechtliche Untersuchungen. Sie führen zu dem Schluss, dass das Datenschutzrecht allein wegen seiner Fokussierung auf das Individuum keinen geeigneten regulativen Rahmen für KI-Systeme bietet. Insbesondere für den Einsatz von assistierenden KI-Systemen bietet die DSGVO bis auf die Einhaltung der Grundsätze keine konkreten Vorgaben. Sowohl das Verfassungsrecht als auch das Datenschutzrecht setzen voraus, dass der Staat bei einem Einsatz von KI-Systemen eine kontinuierliche Überwachungs- und Kontrollstruktur implementieren muss. Die Vorgaben sind jedoch sehr abstrakt. Das Verwaltungs- und Verfassungsrecht muss zukünftig den staatlichen Einsatz intelligenter Technologien stärker abbilden.»Artificial Intelligence in the Public Sector Constitutional and Data Protection Framework for the State Use of Intelligent Technologies«: The use of artificial intelligence is also relevant for the performance of governmental tasks. The author illustrates the technical functioning of self-learning algorithms. In this context, immutable lines in terms of constitutional law and data protection law are made visible. To illustrate the risks, two prominent reference examples from the judiciary and the Administration are examined. Despite existing legal requirements, the author comes to the conclusion that the state's use of smart technologies must be more strongly reflected in the law.
Table of Contents
| Section Title | Page | Action | Price |
|---|---|---|---|
| Vorwort | 5 | ||
| Inhaltsverzeichnis | 7 | ||
| Abkürzungsverzeichnis | 15 | ||
| Teil 1: Einführung | 19 | ||
| A. Problemaufriss | 23 | ||
| I. Risiken richtig einordne | 23 | ||
| 1. Algorithmenphobie überwinde | 24 | ||
| a) Gefahren identifiziere | 26 | ||
| b) Chance | 27 | ||
| 2. Das Team Mensch-Maschine und seine Stärken | 28 | ||
| a) Fördernde Aufgabe des Mensche | 28 | ||
| aa) Trainieren | 29 | ||
| bb) Erklären | 29 | ||
| cc) Überwachen | 29 | ||
| b) Fördernde Aufgaben der KI-Systeme | 30 | ||
| aa) Verstärke | 30 | ||
| bb) Skalierbarkeit und Geschwindigkeit | 31 | ||
| II. Zwischenergebnis | 31 | ||
| B. Ziel der Untersuchung und Untersuchungsgegenstand | 32 | ||
| I. Aufzeigen rechtlicher Grenzen für KI-Systeme nim öffentlichen Sekto | 32 | ||
| 1. Vollautomation und Assistenzsysteme | 33 | ||
| 2. Trainings- und Implementierungsphase | 34 | ||
| II. Darlegung der technischen Grundlagen | 35 | ||
| III. Gegenüberstellung von Mensch und Maschine | 35 | ||
| IV. Rechtliche Perspektive der Untersuchung | 36 | ||
| 1. Technik und Recht | 36 | ||
| a) Ethische Fragen | 36 | ||
| b) Rechtliche Bewertung von KI-Systemen im öffentlichen Sekto | 37 | ||
| 2. Warum finden KI-Systeme Einzug in den öffentlichen Sektor? | 39 | ||
| C. Zusammenfassung und weitere Struktur der Arbeit | 40 | ||
| Teil 2: Terminologie der KI und technische Grundlage | 42 | ||
| A. Definitorische Unschärfe der KI | 42 | ||
| I. Künstliche Intelligenz als Oberbegriff für maschinelles Lernen | 44 | ||
| II. KI als Qualitätsstufe von algorithmischen Entscheidungen als auch von selbstlernenden Technologien | 44 | ||
| III. Technische Entwicklungsstufen der KI | 46 | ||
| 1. Die Superintelligenz | 47 | ||
| 2. Starke KI | 47 | ||
| 3. Schwache KI | 48 | ||
| IV. Zwischenergebnis | 49 | ||
| B. Daten | 50 | ||
| C. Technische Grundlagen in Gegenüberstellung mit dem Mensche | 50 | ||
| I. Verzerrte menschliche Entscheidungen | 51 | ||
| 1. Das Zwei-Systeme-Modell menschlichen Denkens | 52 | ||
| 2. Der Mensch als Assoziationsmaschine | 53 | ||
| a) Assoziative Kohärenz | 53 | ||
| b) Attributsubstitution | 55 | ||
| c) Verarbeitungsflüssigkeit | 55 | ||
| 3. KI-relevante menschliche kognitive Verzerrunge | 56 | ||
| a) Der HALO-Effekt | 56 | ||
| b) Der Anker-Effekt | 57 | ||
| aa) Bewusste Anpassung | 57 | ||
| bb) Unbewusster Priming-Effekt | 57 | ||
| cc) Risiken von Scorewerten bei assistierenden KI-Systeme | 58 | ||
| 4. Zwischenergebnis | 59 | ||
| II. Funktionsweise der schwachen KI | 60 | ||
| 1. Deterministische Algorithmen | 61 | ||
| a) Deterministische, konditionale Algorithmen | 61 | ||
| b) Das Polanyi-Paradoxo | 62 | ||
| 2. Machine Learning | 63 | ||
| a) KI ist ein Entscheidungssystem | 65 | ||
| b) Stile des Machine Learnings | 65 | ||
| aa) Überwachtes Lernen für Voraussagungen der Zukunft | 66 | ||
| bb) Typische Lernziele | 66 | ||
| (1) Klassifizierungen | 67 | ||
| (2) Regression zum Mittelwert | 68 | ||
| cc) Unüberwachtes Lerne | 69 | ||
| (1) Clustering | 69 | ||
| (2) Abgrenzung Clustering und Klassifikatio | 70 | ||
| (3) Dimensionsreduktion | 71 | ||
| dd) Verstärkendes Lerne | 71 | ||
| c) Modelle von Machine-Learning-Algorithmen | 72 | ||
| aa) Entscheidungsbäume | 72 | ||
| bb) Deep Learning und neuronale Netze | 73 | ||
| (1) Tiefe neuronale Netze | 73 | ||
| (2) Training und das Blackbox-Phänomen | 74 | ||
| d) Zwischenergebnis | 76 | ||
| 3. KI erkennt selbst wechselseitige Beziehungen nzwischen In- und Output | 76 | ||
| a) Der Unterschied zwischen Regression und Korrelation | 77 | ||
| b) Der Mensch und das Regressionsphänomen | 77 | ||
| c) Zwischenergebnis | 78 | ||
| 4. Vier Wesensmerkmale der Big-Data-Analyse | 79 | ||
| 5. Der Mensch als Element in der KI | 80 | ||
| a) Auswahl der Daten, Anleitung und Überwachung des Lernprozesses | 80 | ||
| b) Bewertung der Konsequenzen von Entscheidungen | 82 | ||
| III. Zwischenergebnis | 82 | ||
| D. Automationsgrade bei der Implementierung von KI-System-gestützten Entscheidungen im öffentlichen Sekto | 82 | ||
| I. Das Fünf-Stufen-Modell der Entscheidunge | 83 | ||
| 1. Assistiertes Entscheide | 83 | ||
| 2. Teilweises Entscheide | 83 | ||
| 3. Geprüftes Entscheide | 84 | ||
| 4. Delegiertes Entscheide | 84 | ||
| 5. Vollautomatisiertes Entscheide | 84 | ||
| II. Zwischenergebnis | 84 | ||
| Teil 3: Paradigmatische Einsatzfelde | 85 | ||
| A. Justiz | 85 | ||
| I. COMPAS: Rückfälligkeitsscore für Straftäter nim Rahmen von Haftentscheidunge | 85 | ||
| 1. Informationsgrundlagen des Scorewerts | 86 | ||
| 2. Prognosesystem mit rassistischen Tendenze | 88 | ||
| a) Das Korrelationsproblem bei Risikowerte | 89 | ||
| b) Strafzumessung ist eine einzelfallbezogene Schuldfrage | 90 | ||
| c) Untersuchungshaft | 93 | ||
| 3. Fairness als eingeschränkte Optimierung | 94 | ||
| 4. Überprüfbarkeit sicherstelle | 95 | ||
| 5. Rückkoppelungsverzerrung | 96 | ||
| 6. Nachteilige Ankereffekte durch algorithmische Risikowerte | 97 | ||
| II. Verfassungsrechtlicher Rahmen für KI-Systeme nin der Justiz | 98 | ||
| 1. Verbot vollautomatisierter Entscheidunge | 98 | ||
| 2. Assistierende Systeme | 99 | ||
| III. Zwischenfazit | 100 | ||
| B. Eingriffsverwaltung | 102 | ||
| I. Predictive Policing | 102 | ||
| 1. Motivation für den Einsatz von Predictive Policing | 103 | ||
| a) Wirtschaftlichkeitsaspekte durch augmentative nmaschinelle Unterstützung | 104 | ||
| b) Sicherheit, Überwachung und Herrschaft | 104 | ||
| 2. Digitalisierung theoretischer Ansätze, Near-Repeat | 106 | ||
| 3. Funktionsweise der prädiktiven Analytik | 107 | ||
| 4. Erwartungen technisch nicht erfüllbar | 108 | ||
| 5. Dogmatische Einordnung des Predictive Policing | 110 | ||
| a) Gefahrenvorsorge | 110 | ||
| aa) Konkrete Gefah | 111 | ||
| bb) Kann das Predictive-Policing-System konkrete Gefahren erkennen? | 111 | ||
| cc) Gefahrenverdacht und Gefahrerforschungseingriffe | 112 | ||
| b) Personenbezogenes Predictive Policing als Profiling | 113 | ||
| 6. Einsatzfeld in den USA und Risiken | 114 | ||
| a) Gefahr des Dirty Policing durch Personenbezug | 115 | ||
| aa) Bias in, Bias out | 115 | ||
| bb) Was ist „dirty data“? | 116 | ||
| b) Auswertung klassischer Polizeiarbeit fehleranfällig | 116 | ||
| 7. Predictive Policing in Deutschland | 117 | ||
| II. Zwischenfazit | 119 | ||
| Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI im öffentlichen Bereich | 121 | ||
| A. Risiken und Gegenmaßnahme | 123 | ||
| I. Risiken für individuelle und ngesamtgesellschaftliche Interesse | 124 | ||
| 1. Risiken in der Konzeptionsphase | 124 | ||
| a) Diskriminierung durch menschliche Vorgaben | 125 | ||
| b) Diskriminierung durch eine fehlende oder ungeeignete Vorverarbeitung von Trainingsdate | 126 | ||
| c) Zwischenergebnis | 127 | ||
| 2. Risiken in der Implementierungsphase | 128 | ||
| a) Objekt algorithmischer Verzerrung durch Intransparenz | 128 | ||
| b) Eingriff in justizielle Grundrechte | 129 | ||
| c) Zementierung von Diskriminierungen und horizontale Wirkmacht | 130 | ||
| d) Diskriminierung durch Adaption maschineller Entscheidungen | 131 | ||
| e) Kein Entkommen aus der Stereotypisierung mangels Transparenz | 131 | ||
| f) Social Cooling | 132 | ||
| g) Demokratieprinzip | 132 | ||
| h) Gefahr für den Rechtsstaat | 133 | ||
| i) Selbstbestimmungsrecht des Einzelne | 134 | ||
| 3. Zwischenergebnis | 134 | ||
| II. Gegenmaßnahme | 135 | ||
| 1. „Trial and Error“ | 135 | ||
| 2. Blackbox- und Whitebox-Testing-Analyse | 136 | ||
| a) Dynamisches und statisches Teste | 137 | ||
| b) Ex-post-Analyse und Überwachung | 137 | ||
| 3. Zwischenergebnis | 138 | ||
| B. Regulatorische Anknüpfungspunkte | 138 | ||
| I. Verfassungsrechtliche Begrenzung der Einsatzmöglichkeite | 139 | ||
| 1. Demokratie- und Rechtsstaatsprinzip | 139 | ||
| a) Demokratische Legitimatio | 140 | ||
| b) Rechtsstaatsprinzip | 141 | ||
| 2. Zwischenfazit | 142 | ||
| 3. Grundrechte | 144 | ||
| a) Informationelle Selbstbestimmung als Begrenzung der Datenerhebung | 144 | ||
| b) Law by Desig | 145 | ||
| aa) Begriffliche Einordnung | 146 | ||
| bb) Herkömmliche Möglichkeiten zur Sicherung der Rechtsbefolgung | 148 | ||
| cc) Effiziente Herrschaftsform über alle | 150 | ||
| dd) Verhinderung von (il)legalem Verhalten | 150 | ||
| ee) Grenzen des Law by Design | 152 | ||
| ff) Kein Recht auf Rechtsverstoß | 152 | ||
| gg) Recht auf Vollzugsdefizit | 153 | ||
| hh) Eigenverantwortung des Menschen als Grenze des by-Design-Ansatzes | 154 | ||
| ii) Rechtsstaatsprinzip verbietet eine algorithmische Gewaltherrschaft | 155 | ||
| jj) Vollzug ist kein Selbstzweck | 156 | ||
| 4. Zwischenergebnis | 157 | ||
| II. Verfassungsrechtliche Transparenz | 157 | ||
| 1. Notwendigkeit der Öffnung der Blackbox? | 158 | ||
| 2. Begründungspflicht | 158 | ||
| 3. Zeitliche und inhaltliche Unterschiede zwischen Begründung und Informatione | 161 | ||
| 4. Detailgrad, Inhalt und Zwecke von Begründunge | 162 | ||
| a) Begründungen zur rechtsstaatlichen Kontrolle | 163 | ||
| b) Unionsrechtlicher Gedanke einer Begründung | 164 | ||
| c) Legitimationsfunktio | 165 | ||
| d) Rechtsschutzfunktio | 165 | ||
| 5. Informationsfreiheit als Flankenschutz | 166 | ||
| 6. Diskriminierungsschutz und justizielle Grundrechte als Konkretisierungen verfassungsrechtlicher Transparenz | 168 | ||
| 7. Zwischenergebnis | 169 | ||
| III. Diskriminierungsschutz in Zeiten von KI | 169 | ||
| 1. KI-Systeme sind Diskriminierungsmaschinen per definitionem | 169 | ||
| 2. Notwendigkeit ineinandergreifender Regularien für einen effektiven Diskriminierungsschutz | 171 | ||
| 3. Verfassungsrechtlicher Gleichheitssatz | 172 | ||
| a) Kontextualität als normativer Gehalt des Gleichheitssatzes | 173 | ||
| b) Verbot von ungerechtfertigten Ungleichbehandlunge | 175 | ||
| 4. KI-Systeme und der verfassungsrechtliche Gleichheitssatz | 177 | ||
| a) KI-Systeme erzeugen statistische Diskriminierunge | 177 | ||
| aa) Generalisierungsunrecht | 178 | ||
| bb) Typen statistischer Diskriminierung | 181 | ||
| b) Zwischenergebnis | 181 | ||
| c) Ist Machine-Learning-Fairness möglich? | 182 | ||
| aa) Fairness through Blindness | 182 | ||
| (1) Maschinelle Minderheitendiskriminierung | 183 | ||
| (2) Zwischenergebnis | 184 | ||
| bb) Statistische Parität | 185 | ||
| cc) Human in the Loop? | 185 | ||
| dd) Transparenz | 186 | ||
| ee) Validierungsverfahren | 186 | ||
| d) Zwischenergebnis: Rechtfertigungslast liegt beim Staat | 187 | ||
| IV. KI und Datenschutzrecht | 187 | ||
| 1. Datenschutzrechtliche Zielwerte für einen soziotechnischen Rahmen | 189 | ||
| 2. Datenschutzrecht als Steuerungselement für KI-Systeme | 190 | ||
| a) Das Problem des Personenbezugs | 190 | ||
| aa) Binärer Anwendungsbereich der DSGVO | 190 | ||
| (1) Anonyme Daten | 191 | ||
| (2) Re-Identifizierung | 193 | ||
| (3) Risikobasierter Maßstab | 194 | ||
| bb) Auf das Individuum fokussierter Anwendungsbereich | 196 | ||
| cc) Probabilistische Schlussfolgerungen als Verarbeitung (besonderer Kategorien) von personenbezogenen Date | 197 | ||
| (1) Verlässlichkeit der Schlussfolgerung | 200 | ||
| (2) Verarbeitungsabsicht | 200 | ||
| (3) Profiling und KI | 201 | ||
| dd) Betroffenenrechte in Bezug auf probabilistische Schlussfolgerungen | 202 | ||
| b) Zwischenergebnis | 204 | ||
| c) Anwendungsbereich des Art. 22 DSGVO und KI-Systeme | 205 | ||
| aa) Einer Entscheidung unterworfe | 205 | ||
| bb) Ausschließlich automatisierte Verarbeitung neinschließlich Profiling | 206 | ||
| cc) Wirkung der Entscheidung | 210 | ||
| d) Art. 22 DSGVO als spezielle Antidiskriminierungsnorm | 210 | ||
| aa) Intersektionalität | 211 | ||
| bb) Neue Formen der Diskriminierung | 212 | ||
| e) Ausnahmen nach Art. 22 Abs. 2 lit. b) DSGVO nund Mindestgarantien | 213 | ||
| aa) Nationale Vorschriften zu vollautomatisierten Entscheidunge | 214 | ||
| (1) Einzelfallgerechtigkeit und Generalisierung im Verwaltungsverfahren | 215 | ||
| (2) Regelung in der AO | 217 | ||
| (3) Regelungen im allgemeinen Verwaltungsverfahrensrecht | 217 | ||
| (a) Gesetzgeberische Absicherungsmaßnahme | 218 | ||
| (b) Ermessensreduktion auf Null | 218 | ||
| (4) Regelung im Sozialrecht | 218 | ||
| bb) Zwischenergebnis | 219 | ||
| f) Recht auf Hinzuziehen eines menschlichen Entscheiders | 220 | ||
| aa) Restriktiver Anwendungsbereich des Hinzuziehungsrechts? | 221 | ||
| bb) Zwischenergebnis | 222 | ||
| 3. KI und Grundprinzipien der DSGVO | 222 | ||
| a) Rechtmäßigkeit, Art. 5 Abs. 1 lit. a) DSGVO | 222 | ||
| aa) Einwilligung | 223 | ||
| bb) Verarbeitung zur Erfüllung einer rechtlichen Verpflichtung | 224 | ||
| cc) Erforderlichkeit, Art. 6 Abs. 1 lit. b) bis lit. e) DSGVO | 224 | ||
| dd) Überwiegende berechtigte Interessen des Verantwortliche | 224 | ||
| b) Transparenz, Treu und Glauben bzw. Fairness, nArt. 5 Abs. 1 lit. a) DSGVO | 225 | ||
| aa) Vertrauen in KI-Systeme als ethischer Zielwert | 225 | ||
| bb) Fairness | 226 | ||
| cc) Transparenz | 227 | ||
| (1) Allgemeine Informationspflichten | 230 | ||
| (2) Besondere Informationspflichten | 231 | ||
| (a) Darlegung der involvierten Logik | 231 | ||
| (b) Enger Anwendungsbereich der Vollautomation | 233 | ||
| (c) Zwischenergebnis | 233 | ||
| (3) Geschäftsgeheimnisse und Grundrechte des Verantwortlichen als Begrenzungen der Informationspflichten | 233 | ||
| dd) Zukünftige Lösungsansätze | 234 | ||
| c) Zweckbindung | 235 | ||
| aa) Privilegierende Vermutungsregel bei Verarbeitungen zu statistischen Zwecken | 236 | ||
| bb) Mögliche Auswirkungen auf die Rechte und Freiheiten von Betroffenen | 238 | ||
| (1) Verarbeitung personenbezogener Daten in der Trainingsphase | 238 | ||
| (2) Anwendung des Modells in der Implementierungsphase | 239 | ||
| d) Datenminimierung | 239 | ||
| e) Datenrichtigkeit | 241 | ||
| f) Speicherbegrenzung | 242 | ||
| 4. Zwischenergebnis | 242 | ||
| 5. Ergänzende Gegensteuerungselemente innerhalb der DSGVO | 243 | ||
| Teil 5: Ausblick und Fazit | 244 | ||
| A. Ausblick | 244 | ||
| B. Fazit: Zusammenfassung der Ergebnisse | 250 | ||
| Literaturverzeichnis | 255 | ||
| Stichwortverzeichnis | 272 |