Menu Expand

Künstliche Intelligenz im öffentlichen Sektor

Cite BOOK

Style

Raji, B. (2023). Künstliche Intelligenz im öffentlichen Sektor. Verfassungs- und datenschutzrechtlicher Rahmen für den staatlichen Einsatz intelligenter Technologien. Duncker & Humblot. https://doi.org/10.3790/978-3-428-58838-1
Raji, Behrang. Künstliche Intelligenz im öffentlichen Sektor: Verfassungs- und datenschutzrechtlicher Rahmen für den staatlichen Einsatz intelligenter Technologien. Duncker & Humblot, 2023. Book. https://doi.org/10.3790/978-3-428-58838-1
Raji, B (2023): Künstliche Intelligenz im öffentlichen Sektor: Verfassungs- und datenschutzrechtlicher Rahmen für den staatlichen Einsatz intelligenter Technologien, Duncker & Humblot, [online] https://doi.org/10.3790/978-3-428-58838-1

Format

Künstliche Intelligenz im öffentlichen Sektor

Verfassungs- und datenschutzrechtlicher Rahmen für den staatlichen Einsatz intelligenter Technologien

Raji, Behrang

Internetrecht und Digitale Gesellschaft, Vol. 48

(2023)

Additional Information

Book Details

Pricing

About The Author

Behrang Raji ist Rechtsanwalt und Syndikusrechtsanwalt für ein führendes Unternehmen in der Life-Science-Branche. Er hält regelmäßig Vorträge und publiziert zu datenschutzrechtlichen Themen. Er lehrt an der Fachhochschule Wedel Datenschutz- und Datenrecht.

Abstract

Der Staat kann durch den Einsatz von künstlicher Intelligenz seine Aufgaben effizienter wahrnehmen. Eine zentrale Aufgabe, die dem Menschen zukommt, ist die Kontrolle und das Trainieren von KI-Systemen. Die Arbeit legt für Juristen verständlich die Funktionsweise von sog. selbstlernenden algorithmischen Systemen dar. Vor diesem Hintergrund werden rechtlich unverrückbare Grenzen für den staatlichen Einsatz von künstlicher Intelligenz aufgezeigt. Der Autor kommt zu dem Ergebnis, dass verfassungsrechtliche Grundprinzipien wie das Demokratie- und Rechtsstaatsprinzip, aber auch die Grundrechte dem Staat eine Pflicht auferlegen, eine Kontrollstruktur für den Einsatz von KI zu schaffen. Da es sich bei KI-Systemen um datengetriebene Systeme handelt, erfolgen auch datenschutzrechtliche Untersuchungen. Sie führen zu dem Schluss, dass das Datenschutzrecht allein wegen seiner Fokussierung auf das Individuum keinen geeigneten regulativen Rahmen für KI-Systeme bietet. Insbesondere für den Einsatz von assistierenden KI-Systemen bietet die DSGVO bis auf die Einhaltung der Grundsätze keine konkreten Vorgaben. Sowohl das Verfassungsrecht als auch das Datenschutzrecht setzen voraus, dass der Staat bei einem Einsatz von KI-Systemen eine kontinuierliche Überwachungs- und Kontrollstruktur implementieren muss. Die Vorgaben sind jedoch sehr abstrakt. Das Verwaltungs- und Verfassungsrecht muss zukünftig den staatlichen Einsatz intelligenter Technologien stärker abbilden.»Artificial Intelligence in the Public Sector Constitutional and Data Protection Framework for the State Use of Intelligent Technologies«: The use of artificial intelligence is also relevant for the performance of governmental tasks. The author illustrates the technical functioning of self-learning algorithms. In this context, immutable lines in terms of constitutional law and data protection law are made visible. To illustrate the risks, two prominent reference examples from the judiciary and the Administration are examined. Despite existing legal requirements, the author comes to the conclusion that the state's use of smart technologies must be more strongly reflected in the law.

Table of Contents

Section Title Page Action Price
Vorwort 5
Inhaltsverzeichnis 7
Abkürzungsverzeichnis 15
Teil 1: Einführung 19
A. Problemaufriss 23
I. Risiken richtig einordnen 23
1. Algorithmenphobie überwinden 24
a) Gefahren identifizieren 26
b) Chancen 27
2. Das Team Mensch-Maschine und seine Stärken 28
a) Fördernde Aufgabe des Menschen 28
aa) Trainieren 29
bb) Erklären 29
cc) Überwachen 29
b) Fördernde Aufgaben der KI-Systeme 30
aa) Verstärken 30
bb) Skalierbarkeit und Geschwindigkeit 31
II. Zwischenergebnis 31
B. Ziel der Untersuchung und Untersuchungsgegenstand 32
I. Aufzeigen rechtlicher Grenzen für KI-Systeme nim öffentlichen Sektor 32
1. Vollautomation und Assistenzsysteme 33
2. Trainings- und Implementierungsphase 34
II. Darlegung der technischen Grundlagen 35
III. Gegenüberstellung von Mensch und Maschine 35
IV. Rechtliche Perspektive der Untersuchung 36
1. Technik und Recht 36
a) Ethische Fragen 36
b) Rechtliche Bewertung von KI-Systemen im öffentlichen Sektor 37
2. Warum finden KI-Systeme Einzug in den öffentlichen Sektor? 39
C. Zusammenfassung und weitere Struktur der Arbeit 40
Teil 2: Terminologie der KI und technische Grundlagen 42
A. Definitorische Unschärfe der KI 42
I. Künstliche Intelligenz als Oberbegriff für maschinelles Lernen 44
II. KI als Qualitätsstufe von algorithmischen Entscheidungen als auch von selbstlernenden Technologien 44
III. Technische Entwicklungsstufen der KI 46
1. Die Superintelligenz 47
2. Starke KI 47
3. Schwache KI 48
IV. Zwischenergebnis 49
B. Daten 50
C. Technische Grundlagen in Gegenüberstellung mit dem Menschen 50
I. Verzerrte menschliche Entscheidungen 51
1. Das Zwei-Systeme-Modell menschlichen Denkens 52
2. Der Mensch als Assoziationsmaschine 53
a) Assoziative Kohärenz 53
b) Attributsubstitution 55
c) Verarbeitungsflüssigkeit 55
3. KI-relevante menschliche kognitive Verzerrungen 56
a) Der HALO-Effekt 56
b) Der Anker-Effekt 57
aa) Bewusste Anpassung 57
bb) Unbewusster Priming-Effekt 57
cc) Risiken von Scorewerten bei assistierenden KI-Systemen 58
4. Zwischenergebnis 59
II. Funktionsweise der schwachen KI 60
1. Deterministische Algorithmen 61
a) Deterministische, konditionale Algorithmen 61
b) Das Polanyi-Paradoxon 62
2. Machine Learning 63
a) KI ist ein Entscheidungssystem 65
b) Stile des Machine Learnings 65
aa) Überwachtes Lernen für Voraussagungen der Zukunft 66
bb) Typische Lernziele 66
(1) Klassifizierungen 67
(2) Regression zum Mittelwert 68
cc) Unüberwachtes Lernen 69
(1) Clustering 69
(2) Abgrenzung Clustering und Klassifikation 70
(3) Dimensionsreduktion 71
dd) Verstärkendes Lernen 71
c) Modelle von Machine-Learning-Algorithmen 72
aa) Entscheidungsbäume 72
bb) Deep Learning und neuronale Netze 73
(1) Tiefe neuronale Netze 73
(2) Training und das Blackbox-Phänomen 74
d) Zwischenergebnis 76
3. KI erkennt selbst wechselseitige Beziehungen nzwischen In- und Output 76
a) Der Unterschied zwischen Regression und Korrelation 77
b) Der Mensch und das Regressionsphänomen 77
c) Zwischenergebnis 78
4. Vier Wesensmerkmale der Big-Data-Analyse 79
5. Der Mensch als Element in der KI 80
a) Auswahl der Daten, Anleitung und Überwachung des Lernprozesses 80
b) Bewertung der Konsequenzen von Entscheidungen 82
III. Zwischenergebnis 82
D. Automationsgrade bei der Implementierung von KI-System-gestützten Entscheidungen im öffentlichen Sektor 82
I. Das Fünf-Stufen-Modell der Entscheidungen 83
1. Assistiertes Entscheiden 83
2. Teilweises Entscheiden 83
3. Geprüftes Entscheiden 84
4. Delegiertes Entscheiden 84
5. Vollautomatisiertes Entscheiden 84
II. Zwischenergebnis 84
Teil 3: Paradigmatische Einsatzfelder 85
A. Justiz 85
I. COMPAS: Rückfälligkeitsscore für Straftäter nim Rahmen von Haftentscheidungen 85
1. Informationsgrundlagen des Scorewerts 86
2. Prognosesystem mit rassistischen Tendenzen 88
a) Das Korrelationsproblem bei Risikowerten 89
b) Strafzumessung ist eine einzelfallbezogene Schuldfrage 90
c) Untersuchungshaft 93
3. Fairness als eingeschränkte Optimierung 94
4. Überprüfbarkeit sicherstellen 95
5. Rückkoppelungsverzerrung 96
6. Nachteilige Ankereffekte durch algorithmische Risikowerte 97
II. Verfassungsrechtlicher Rahmen für KI-Systeme nin der Justiz 98
1. Verbot vollautomatisierter Entscheidungen 98
2. Assistierende Systeme 99
III. Zwischenfazit 100
B. Eingriffsverwaltung 102
I. Predictive Policing 102
1. Motivation für den Einsatz von Predictive Policing 103
a) Wirtschaftlichkeitsaspekte durch augmentative nmaschinelle Unterstützung 104
b) Sicherheit, Überwachung und Herrschaft 104
2. Digitalisierung theoretischer Ansätze, Near-Repeat 106
3. Funktionsweise der prädiktiven Analytik 107
4. Erwartungen technisch nicht erfüllbar 108
5. Dogmatische Einordnung des Predictive Policing 110
a) Gefahrenvorsorge 110
aa) Konkrete Gefahr 111
bb) Kann das Predictive-Policing-System konkrete Gefahren erkennen? 111
cc) Gefahrenverdacht und Gefahrerforschungseingriffe 112
b) Personenbezogenes Predictive Policing als Profiling 113
6. Einsatzfeld in den USA und Risiken 114
a) Gefahr des Dirty Policing durch Personenbezug 115
aa) Bias in, Bias out 115
bb) Was ist „dirty data“? 116
b) Auswertung klassischer Polizeiarbeit fehleranfällig 116
7. Predictive Policing in Deutschland 117
II. Zwischenfazit 119
Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI im öffentlichen Bereich 121
A. Risiken und Gegenmaßnahmen 123
I. Risiken für individuelle und ngesamtgesellschaftliche Interessen 124
1. Risiken in der Konzeptionsphase 124
a) Diskriminierung durch menschliche Vorgaben 125
b) Diskriminierung durch eine fehlende oder ungeeignete Vorverarbeitung von Trainingsdaten 126
c) Zwischenergebnis 127
2. Risiken in der Implementierungsphase 128
a) Objekt algorithmischer Verzerrung durch Intransparenz 128
b) Eingriff in justizielle Grundrechte 129
c) Zementierung von Diskriminierungen und horizontale Wirkmacht 130
d) Diskriminierung durch Adaption maschineller Entscheidungen 131
e) Kein Entkommen aus der Stereotypisierung mangels Transparenz 131
f) Social Cooling 132
g) Demokratieprinzip 132
h) Gefahr für den Rechtsstaat 133
i) Selbstbestimmungsrecht des Einzelnen 134
3. Zwischenergebnis 134
II. Gegenmaßnahmen 135
1. „Trial and Error“ 135
2. Blackbox- und Whitebox-Testing-Analysen 136
a) Dynamisches und statisches Testen 137
b) Ex-post-Analyse und Überwachung 137
3. Zwischenergebnis 138
B. Regulatorische Anknüpfungspunkte 138
I. Verfassungsrechtliche Begrenzung der Einsatzmöglichkeiten 139
1. Demokratie- und Rechtsstaatsprinzip 139
a) Demokratische Legitimation 140
b) Rechtsstaatsprinzip 141
2. Zwischenfazit 142
3. Grundrechte 144
a) Informationelle Selbstbestimmung als Begrenzung der Datenerhebung 144
b) Law by Design 145
aa) Begriffliche Einordnung 146
bb) Herkömmliche Möglichkeiten zur Sicherung der Rechtsbefolgung 148
cc) Effiziente Herrschaftsform über alle 150
dd) Verhinderung von (il)legalem Verhalten 150
ee) Grenzen des Law by Design 152
ff) Kein Recht auf Rechtsverstoß 152
gg) Recht auf Vollzugsdefizit 153
hh) Eigenverantwortung des Menschen als Grenze des by-Design-Ansatzes 154
ii) Rechtsstaatsprinzip verbietet eine algorithmische Gewaltherrschaft 155
jj) Vollzug ist kein Selbstzweck 156
4. Zwischenergebnis 157
II. Verfassungsrechtliche Transparenz 157
1. Notwendigkeit der Öffnung der Blackbox? 158
2. Begründungspflicht 158
3. Zeitliche und inhaltliche Unterschiede zwischen Begründung und Informationen 161
4. Detailgrad, Inhalt und Zwecke von Begründungen 162
a) Begründungen zur rechtsstaatlichen Kontrolle 163
b) Unionsrechtlicher Gedanke einer Begründung 164
c) Legitimationsfunktion 165
d) Rechtsschutzfunktion 165
5. Informationsfreiheit als Flankenschutz 166
6. Diskriminierungsschutz und justizielle Grundrechte als Konkretisierungen verfassungsrechtlicher Transparenz 168
7. Zwischenergebnis 169
III. Diskriminierungsschutz in Zeiten von KI 169
1. KI-Systeme sind Diskriminierungsmaschinen per definitionem 169
2. Notwendigkeit ineinandergreifender Regularien für einen effektiven Diskriminierungsschutz 171
3. Verfassungsrechtlicher Gleichheitssatz 172
a) Kontextualität als normativer Gehalt des Gleichheitssatzes 173
b) Verbot von ungerechtfertigten Ungleichbehandlungen 175
4. KI-Systeme und der verfassungsrechtliche Gleichheitssatz 177
a) KI-Systeme erzeugen statistische Diskriminierungen 177
aa) Generalisierungsunrecht 178
bb) Typen statistischer Diskriminierung 181
b) Zwischenergebnis 181
c) Ist Machine-Learning-Fairness möglich? 182
aa) Fairness through Blindness 182
(1) Maschinelle Minderheitendiskriminierung 183
(2) Zwischenergebnis 184
bb) Statistische Parität 185
cc) Human in the Loop? 185
dd) Transparenz 186
ee) Validierungsverfahren 186
d) Zwischenergebnis: Rechtfertigungslast liegt beim Staat 187
IV. KI und Datenschutzrecht 187
1. Datenschutzrechtliche Zielwerte für einen soziotechnischen Rahmen 189
2. Datenschutzrecht als Steuerungselement für KI-Systeme 190
a) Das Problem des Personenbezugs 190
aa) Binärer Anwendungsbereich der DSGVO 190
(1) Anonyme Daten 191
(2) Re-Identifizierung 193
(3) Risikobasierter Maßstab 194
bb) Auf das Individuum fokussierter Anwendungsbereich 196
cc) Probabilistische Schlussfolgerungen als Verarbeitung (besonderer Kategorien) von personenbezogenen Daten 197
(1) Verlässlichkeit der Schlussfolgerung 200
(2) Verarbeitungsabsicht 200
(3) Profiling und KI 201
dd) Betroffenenrechte in Bezug auf probabilistische Schlussfolgerungen 202
b) Zwischenergebnis 204
c) Anwendungsbereich des Art. 22 DSGVO und KI-Systeme 205
aa) Einer Entscheidung unterworfen 205
bb) Ausschließlich automatisierte Verarbeitung neinschließlich Profiling 206
cc) Wirkung der Entscheidung 210
d) Art. 22 DSGVO als spezielle Antidiskriminierungsnorm 210
aa) Intersektionalität 211
bb) Neue Formen der Diskriminierung 212
e) Ausnahmen nach Art. 22 Abs. 2 lit. b) DSGVO nund Mindestgarantien 213
aa) Nationale Vorschriften zu vollautomatisierten Entscheidungen 214
(1) Einzelfallgerechtigkeit und Generalisierung im Verwaltungsverfahren 215
(2) Regelung in der AO 217
(3) Regelungen im allgemeinen Verwaltungsverfahrensrecht 217
(a) Gesetzgeberische Absicherungsmaßnahmen 218
(b) Ermessensreduktion auf Null 218
(4) Regelung im Sozialrecht 218
bb) Zwischenergebnis 219
f) Recht auf Hinzuziehen eines menschlichen Entscheiders 220
aa) Restriktiver Anwendungsbereich des Hinzuziehungsrechts? 221
bb) Zwischenergebnis 222
3. KI und Grundprinzipien der DSGVO 222
a) Rechtmäßigkeit, Art. 5 Abs. 1 lit. a) DSGVO 222
aa) Einwilligung 223
bb) Verarbeitung zur Erfüllung einer rechtlichen Verpflichtung 224
cc) Erforderlichkeit, Art. 6 Abs. 1 lit. b) bis lit. e) DSGVO 224
dd) Überwiegende berechtigte Interessen des Verantwortlichen 224
b) Transparenz, Treu und Glauben bzw. Fairness, nArt. 5 Abs. 1 lit. a) DSGVO 225
aa) Vertrauen in KI-Systeme als ethischer Zielwert 225
bb) Fairness 226
cc) Transparenz 227
(1) Allgemeine Informationspflichten 230
(2) Besondere Informationspflichten 231
(a) Darlegung der involvierten Logik 231
(b) Enger Anwendungsbereich der Vollautomation 233
(c) Zwischenergebnis 233
(3) Geschäftsgeheimnisse und Grundrechte des Verantwortlichen als Begrenzungen der Informationspflichten 233
dd) Zukünftige Lösungsansätze 234
c) Zweckbindung 235
aa) Privilegierende Vermutungsregel bei Verarbeitungen zu statistischen Zwecken 236
bb) Mögliche Auswirkungen auf die Rechte und Freiheiten von Betroffenen 238
(1) Verarbeitung personenbezogener Daten in der Trainingsphase 238
(2) Anwendung des Modells in der Implementierungsphase 239
d) Datenminimierung 239
e) Datenrichtigkeit 241
f) Speicherbegrenzung 242
4. Zwischenergebnis 242
5. Ergänzende Gegensteuerungselemente innerhalb der DSGVO 243
Teil 5: Ausblick und Fazit 244
A. Ausblick 244
B. Fazit: Zusammenfassung der Ergebnisse 250
Literaturverzeichnis 255
Stichwortverzeichnis 272