Künstliche Intelligenz im öffentlichen Sektor

Behrang Raji

doi:10.3790/978-3-428-58838-1

Künstliche Intelligenz im öffentlichen Sektor

Preview Login to order (PDF)

BOOK

Cite BOOK

Style

Raji, B. (2023). Künstliche Intelligenz im öffentlichen Sektor. Verfassungs- und datenschutzrechtlicher Rahmen für den staatlichen Einsatz intelligenter Technologien. Duncker & Humblot. https://doi.org/10.3790/978-3-428-58838-1

Format

BIBTEX

ENDNOTE

RIS

Download

Künstliche Intelligenz im öffentlichen Sektor

Verfassungs- und datenschutzrechtlicher Rahmen für den staatlichen Einsatz intelligenter Technologien

Raji, Behrang

Internetrecht und Digitale Gesellschaft, Vol. 48

(2023)

Preview Login to order (PDF)

Additional Information

Book Details

Publisher Name: Duncker & Humblot
ISBN: 978-3-428-58838-1
978-3-428-18838-3 (print edition)
DOI: https://doi.org/10.3790/978-3-428-58838-1
Edition: 1
Language: German
Pages: 274
Collections: NBE D&H
NBE RECHT
RECHT 2023
D&H 2023
Subjects: Social & ethical issues
Constitution
Artificial intelligence

Pricing

Institution: € 120.00 (incl. local VAT if applicable)
Individual: € 79.90 (incl. local VAT if applicable)

About The Author

Behrang Raji ist Rechtsanwalt und Syndikusrechtsanwalt für ein führendes Unternehmen in der Life-Science-Branche. Er hält regelmäßig Vorträge und publiziert zu datenschutzrechtlichen Themen. Er lehrt an der Fachhochschule Wedel Datenschutz- und Datenrecht.

Abstract

Der Staat kann durch den Einsatz von künstlicher Intelligenz seine Aufgaben effizienter wahrnehmen. Eine zentrale Aufgabe, die dem Menschen zukommt, ist die Kontrolle und das Trainieren von KI-Systemen. Die Arbeit legt für Juristen verständlich die Funktionsweise von sog. selbstlernenden algorithmischen Systemen dar. Vor diesem Hintergrund werden rechtlich unverrückbare Grenzen für den staatlichen Einsatz von künstlicher Intelligenz aufgezeigt. Der Autor kommt zu dem Ergebnis, dass verfassungsrechtliche Grundprinzipien wie das Demokratie- und Rechtsstaatsprinzip, aber auch die Grundrechte dem Staat eine Pflicht auferlegen, eine Kontrollstruktur für den Einsatz von KI zu schaffen. Da es sich bei KI-Systemen um datengetriebene Systeme handelt, erfolgen auch datenschutzrechtliche Untersuchungen. Sie führen zu dem Schluss, dass das Datenschutzrecht allein wegen seiner Fokussierung auf das Individuum keinen geeigneten regulativen Rahmen für KI-Systeme bietet. Insbesondere für den Einsatz von assistierenden KI-Systemen bietet die DSGVO bis auf die Einhaltung der Grundsätze keine konkreten Vorgaben. Sowohl das Verfassungsrecht als auch das Datenschutzrecht setzen voraus, dass der Staat bei einem Einsatz von KI-Systemen eine kontinuierliche Überwachungs- und Kontrollstruktur implementieren muss. Die Vorgaben sind jedoch sehr abstrakt. Das Verwaltungs- und Verfassungsrecht muss zukünftig den staatlichen Einsatz intelligenter Technologien stärker abbilden.»Artificial Intelligence in the Public Sector Constitutional and Data Protection Framework for the State Use of Intelligent Technologies«: The use of artificial intelligence is also relevant for the performance of governmental tasks. The author illustrates the technical functioning of self-learning algorithms. In this context, immutable lines in terms of constitutional law and data protection law are made visible. To illustrate the risks, two prominent reference examples from the judiciary and the Administration are examined. Despite existing legal requirements, the author comes to the conclusion that the state's use of smart technologies must be more strongly reflected in the law.

Section Title	Page	Action	Price
Vorwort	5
Inhaltsverzeichnis	7
Abkürzungsverzeichnis	15
Teil 1: Einführung	19
A. Problemaufriss	23
I. Risiken richtig einordnen	23
1. Algorithmenphobie überwinden	24
a) Gefahren identifizieren	26
b) Chancen	27
2. Das Team Mensch-Maschine und seine Stärken	28
a) Fördernde Aufgabe des Menschen	28
aa) Trainieren	29
bb) Erklären	29
cc) Überwachen	29
b) Fördernde Aufgaben der KI-Systeme	30
aa) Verstärken	30
bb) Skalierbarkeit und Geschwindigkeit	31
II. Zwischenergebnis	31
B. Ziel der Untersuchung und Untersuchungsgegenstand	32
I. Aufzeigen rechtlicher Grenzen für KI-Systeme nim öffentlichen Sektor	32
1. Vollautomation und Assistenzsysteme	33
2. Trainings- und Implementierungsphase	34
II. Darlegung der technischen Grundlagen	35
III. Gegenüberstellung von Mensch und Maschine	35
IV. Rechtliche Perspektive der Untersuchung	36
1. Technik und Recht	36
a) Ethische Fragen	36
b) Rechtliche Bewertung von KI-Systemen im öffentlichen Sektor	37
2. Warum finden KI-Systeme Einzug in den öffentlichen Sektor?	39
C. Zusammenfassung und weitere Struktur der Arbeit	40
Teil 2: Terminologie der KI und technische Grundlagen	42
A. Definitorische Unschärfe der KI	42
I. Künstliche Intelligenz als Oberbegriff für maschinelles Lernen	44
II. KI als Qualitätsstufe von algorithmischen Entscheidungen als auch von selbstlernenden Technologien	44
III. Technische Entwicklungsstufen der KI	46
1. Die Superintelligenz	47
2. Starke KI	47
3. Schwache KI	48
IV. Zwischenergebnis	49
B. Daten	50
C. Technische Grundlagen in Gegenüberstellung mit dem Menschen	50
I. Verzerrte menschliche Entscheidungen	51
1. Das Zwei-Systeme-Modell menschlichen Denkens	52
2. Der Mensch als Assoziationsmaschine	53
a) Assoziative Kohärenz	53
b) Attributsubstitution	55
c) Verarbeitungsflüssigkeit	55
3. KI-relevante menschliche kognitive Verzerrungen	56
a) Der HALO-Effekt	56
b) Der Anker-Effekt	57
aa) Bewusste Anpassung	57
bb) Unbewusster Priming-Effekt	57
cc) Risiken von Scorewerten bei assistierenden KI-Systemen	58
4. Zwischenergebnis	59
II. Funktionsweise der schwachen KI	60
1. Deterministische Algorithmen	61
a) Deterministische, konditionale Algorithmen	61
b) Das Polanyi-Paradoxon	62
2. Machine Learning	63
a) KI ist ein Entscheidungssystem	65
b) Stile des Machine Learnings	65
aa) Überwachtes Lernen für Voraussagungen der Zukunft	66
bb) Typische Lernziele	66
(1) Klassifizierungen	67
(2) Regression zum Mittelwert	68
cc) Unüberwachtes Lernen	69
(1) Clustering	69
(2) Abgrenzung Clustering und Klassifikation	70
(3) Dimensionsreduktion	71
dd) Verstärkendes Lernen	71
c) Modelle von Machine-Learning-Algorithmen	72
aa) Entscheidungsbäume	72
bb) Deep Learning und neuronale Netze	73
(1) Tiefe neuronale Netze	73
(2) Training und das Blackbox-Phänomen	74
d) Zwischenergebnis	76
3. KI erkennt selbst wechselseitige Beziehungen nzwischen In- und Output	76
a) Der Unterschied zwischen Regression und Korrelation	77
b) Der Mensch und das Regressionsphänomen	77
c) Zwischenergebnis	78
4. Vier Wesensmerkmale der Big-Data-Analyse	79
5. Der Mensch als Element in der KI	80
a) Auswahl der Daten, Anleitung und Überwachung des Lernprozesses	80
b) Bewertung der Konsequenzen von Entscheidungen	82
III. Zwischenergebnis	82
D. Automationsgrade bei der Implementierung von KI-System-gestützten Entscheidungen im öffentlichen Sektor	82
I. Das Fünf-Stufen-Modell der Entscheidungen	83
1. Assistiertes Entscheiden	83
2. Teilweises Entscheiden	83
3. Geprüftes Entscheiden	84
4. Delegiertes Entscheiden	84
5. Vollautomatisiertes Entscheiden	84
II. Zwischenergebnis	84
Teil 3: Paradigmatische Einsatzfelder	85
A. Justiz	85
I. COMPAS: Rückfälligkeitsscore für Straftäter nim Rahmen von Haftentscheidungen	85
1. Informationsgrundlagen des Scorewerts	86
2. Prognosesystem mit rassistischen Tendenzen	88
a) Das Korrelationsproblem bei Risikowerten	89
b) Strafzumessung ist eine einzelfallbezogene Schuldfrage	90
c) Untersuchungshaft	93
3. Fairness als eingeschränkte Optimierung	94
4. Überprüfbarkeit sicherstellen	95
5. Rückkoppelungsverzerrung	96
6. Nachteilige Ankereffekte durch algorithmische Risikowerte	97
II. Verfassungsrechtlicher Rahmen für KI-Systeme nin der Justiz	98
1. Verbot vollautomatisierter Entscheidungen	98
2. Assistierende Systeme	99
III. Zwischenfazit	100
B. Eingriffsverwaltung	102
I. Predictive Policing	102
1. Motivation für den Einsatz von Predictive Policing	103
a) Wirtschaftlichkeitsaspekte durch augmentative nmaschinelle Unterstützung	104
b) Sicherheit, Überwachung und Herrschaft	104
2. Digitalisierung theoretischer Ansätze, Near-Repeat	106
3. Funktionsweise der prädiktiven Analytik	107
4. Erwartungen technisch nicht erfüllbar	108
5. Dogmatische Einordnung des Predictive Policing	110
a) Gefahrenvorsorge	110
aa) Konkrete Gefahr	111
bb) Kann das Predictive-Policing-System konkrete Gefahren erkennen?	111
cc) Gefahrenverdacht und Gefahrerforschungseingriffe	112
b) Personenbezogenes Predictive Policing als Profiling	113
6. Einsatzfeld in den USA und Risiken	114
a) Gefahr des Dirty Policing durch Personenbezug	115
aa) Bias in, Bias out	115
bb) Was ist „dirty data“?	116
b) Auswertung klassischer Polizeiarbeit fehleranfällig	116
7. Predictive Policing in Deutschland	117
II. Zwischenfazit	119
Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI im öffentlichen Bereich	121
A. Risiken und Gegenmaßnahmen	123
I. Risiken für individuelle und ngesamtgesellschaftliche Interessen	124
1. Risiken in der Konzeptionsphase	124
a) Diskriminierung durch menschliche Vorgaben	125
b) Diskriminierung durch eine fehlende oder ungeeignete Vorverarbeitung von Trainingsdaten	126
c) Zwischenergebnis	127
2. Risiken in der Implementierungsphase	128
a) Objekt algorithmischer Verzerrung durch Intransparenz	128
b) Eingriff in justizielle Grundrechte	129
c) Zementierung von Diskriminierungen und horizontale Wirkmacht	130
d) Diskriminierung durch Adaption maschineller Entscheidungen	131
e) Kein Entkommen aus der Stereotypisierung mangels Transparenz	131
f) Social Cooling	132
g) Demokratieprinzip	132
h) Gefahr für den Rechtsstaat	133
i) Selbstbestimmungsrecht des Einzelnen	134
3. Zwischenergebnis	134
II. Gegenmaßnahmen	135
1. „Trial and Error“	135
2. Blackbox- und Whitebox-Testing-Analysen	136
a) Dynamisches und statisches Testen	137
b) Ex-post-Analyse und Überwachung	137
3. Zwischenergebnis	138
B. Regulatorische Anknüpfungspunkte	138
I. Verfassungsrechtliche Begrenzung der Einsatzmöglichkeiten	139
1. Demokratie- und Rechtsstaatsprinzip	139
a) Demokratische Legitimation	140
b) Rechtsstaatsprinzip	141
2. Zwischenfazit	142
3. Grundrechte	144
a) Informationelle Selbstbestimmung als Begrenzung der Datenerhebung	144
b) Law by Design	145
aa) Begriffliche Einordnung	146
bb) Herkömmliche Möglichkeiten zur Sicherung der Rechtsbefolgung	148
cc) Effiziente Herrschaftsform über alle	150
dd) Verhinderung von (il)legalem Verhalten	150
ee) Grenzen des Law by Design	152
ff) Kein Recht auf Rechtsverstoß	152
gg) Recht auf Vollzugsdefizit	153
hh) Eigenverantwortung des Menschen als Grenze des by-Design-Ansatzes	154
ii) Rechtsstaatsprinzip verbietet eine algorithmische Gewaltherrschaft	155
jj) Vollzug ist kein Selbstzweck	156
4. Zwischenergebnis	157
II. Verfassungsrechtliche Transparenz	157
1. Notwendigkeit der Öffnung der Blackbox?	158
2. Begründungspflicht	158
3. Zeitliche und inhaltliche Unterschiede zwischen Begründung und Informationen	161
4. Detailgrad, Inhalt und Zwecke von Begründungen	162
a) Begründungen zur rechtsstaatlichen Kontrolle	163
b) Unionsrechtlicher Gedanke einer Begründung	164
c) Legitimationsfunktion	165
d) Rechtsschutzfunktion	165
5. Informationsfreiheit als Flankenschutz	166
6. Diskriminierungsschutz und justizielle Grundrechte als Konkretisierungen verfassungsrechtlicher Transparenz	168
7. Zwischenergebnis	169
III. Diskriminierungsschutz in Zeiten von KI	169
1. KI-Systeme sind Diskriminierungsmaschinen per definitionem	169
2. Notwendigkeit ineinandergreifender Regularien für einen effektiven Diskriminierungsschutz	171
3. Verfassungsrechtlicher Gleichheitssatz	172
a) Kontextualität als normativer Gehalt des Gleichheitssatzes	173
b) Verbot von ungerechtfertigten Ungleichbehandlungen	175
4. KI-Systeme und der verfassungsrechtliche Gleichheitssatz	177
a) KI-Systeme erzeugen statistische Diskriminierungen	177
aa) Generalisierungsunrecht	178
bb) Typen statistischer Diskriminierung	181
b) Zwischenergebnis	181
c) Ist Machine-Learning-Fairness möglich?	182
aa) Fairness through Blindness	182
(1) Maschinelle Minderheitendiskriminierung	183
(2) Zwischenergebnis	184
bb) Statistische Parität	185
cc) Human in the Loop?	185
dd) Transparenz	186
ee) Validierungsverfahren	186
d) Zwischenergebnis: Rechtfertigungslast liegt beim Staat	187
IV. KI und Datenschutzrecht	187
1. Datenschutzrechtliche Zielwerte für einen soziotechnischen Rahmen	189
2. Datenschutzrecht als Steuerungselement für KI-Systeme	190
a) Das Problem des Personenbezugs	190
aa) Binärer Anwendungsbereich der DSGVO	190
(1) Anonyme Daten	191
(2) Re-Identifizierung	193
(3) Risikobasierter Maßstab	194
bb) Auf das Individuum fokussierter Anwendungsbereich	196
cc) Probabilistische Schlussfolgerungen als Verarbeitung (besonderer Kategorien) von personenbezogenen Daten	197
(1) Verlässlichkeit der Schlussfolgerung	200
(2) Verarbeitungsabsicht	200
(3) Profiling und KI	201
dd) Betroffenenrechte in Bezug auf probabilistische Schlussfolgerungen	202
b) Zwischenergebnis	204
c) Anwendungsbereich des Art. 22 DSGVO und KI-Systeme	205
aa) Einer Entscheidung unterworfen	205
bb) Ausschließlich automatisierte Verarbeitung neinschließlich Profiling	206
cc) Wirkung der Entscheidung	210
d) Art. 22 DSGVO als spezielle Antidiskriminierungsnorm	210
aa) Intersektionalität	211
bb) Neue Formen der Diskriminierung	212
e) Ausnahmen nach Art. 22 Abs. 2 lit. b) DSGVO nund Mindestgarantien	213
aa) Nationale Vorschriften zu vollautomatisierten Entscheidungen	214
(1) Einzelfallgerechtigkeit und Generalisierung im Verwaltungsverfahren	215
(2) Regelung in der AO	217
(3) Regelungen im allgemeinen Verwaltungsverfahrensrecht	217
(a) Gesetzgeberische Absicherungsmaßnahmen	218
(b) Ermessensreduktion auf Null	218
(4) Regelung im Sozialrecht	218
bb) Zwischenergebnis	219
f) Recht auf Hinzuziehen eines menschlichen Entscheiders	220
aa) Restriktiver Anwendungsbereich des Hinzuziehungsrechts?	221
bb) Zwischenergebnis	222
3. KI und Grundprinzipien der DSGVO	222
a) Rechtmäßigkeit, Art. 5 Abs. 1 lit. a) DSGVO	222
aa) Einwilligung	223
bb) Verarbeitung zur Erfüllung einer rechtlichen Verpflichtung	224
cc) Erforderlichkeit, Art. 6 Abs. 1 lit. b) bis lit. e) DSGVO	224
dd) Überwiegende berechtigte Interessen des Verantwortlichen	224
b) Transparenz, Treu und Glauben bzw. Fairness, nArt. 5 Abs. 1 lit. a) DSGVO	225
aa) Vertrauen in KI-Systeme als ethischer Zielwert	225
bb) Fairness	226
cc) Transparenz	227
(1) Allgemeine Informationspflichten	230
(2) Besondere Informationspflichten	231
(a) Darlegung der involvierten Logik	231
(b) Enger Anwendungsbereich der Vollautomation	233
(c) Zwischenergebnis	233
(3) Geschäftsgeheimnisse und Grundrechte des Verantwortlichen als Begrenzungen der Informationspflichten	233
dd) Zukünftige Lösungsansätze	234
c) Zweckbindung	235
aa) Privilegierende Vermutungsregel bei Verarbeitungen zu statistischen Zwecken	236
bb) Mögliche Auswirkungen auf die Rechte und Freiheiten von Betroffenen	238
(1) Verarbeitung personenbezogener Daten in der Trainingsphase	238
(2) Anwendung des Modells in der Implementierungsphase	239
d) Datenminimierung	239
e) Datenrichtigkeit	241
f) Speicherbegrenzung	242
4. Zwischenergebnis	242
5. Ergänzende Gegensteuerungselemente innerhalb der DSGVO	243
Teil 5: Ausblick und Fazit	244
A. Ausblick	244
B. Fazit: Zusammenfassung der Ergebnisse	250
Literaturverzeichnis	255
Stichwortverzeichnis	272

Cite BOOK

Style

Format

Künstliche Intelligenz im öffentlichen Sektor

Verfassungs- und datenschutzrechtlicher Rahmen für den staatlichen Einsatz intelligenter Technologien

Additional Information

Book Details

Pricing

About The Author

Abstract

Table of Contents

Contact

Quick Navigation