ABSTRACT: So far in this book, we have examined algorithmic decision systems from three autonomy-based perspectives: in terms of what we owe autonomous agents (chapters 3 and 4), in terms of the conditions required for people to act autonomously (chapters 5 and 6), and in terms of the responsibilities of agents (chapter 7). -/- In this chapter we turn to the ways in which autonomy underwrites democratic governance. Political authority, which is to say the ability of a government to exercise (...) power, may be justifiable or not. Whether it is justified and how it can come to be justified is a question of political legitimacy. Political legitimacy is another way in which autonomy and responsibility are linked. This relationship is the basis of the current chapter, and it is important in understanding the moral salience of algorithmic systems. We will draw the connection as follows. We begin, in section 8.1, by describing two uses of technology: crime predicting technology used to drive policing practices and social media technology used to influence elections (including by Cambridge Analytica and by the Internet Research Agency). In section 8.2 we consider several views of legitimacy and argue for a hybrid version of normative legitimacy based on one recently offered by Fabienne Peter. In section 8.3 we will explain that the connection between political legitimacy and autonomy is that legitimacy is grounded in legitimating processes, which are in turn based on autonomy. Algorithmic systems—among them PredPol and the Cambridge Analytica-Facebook-Internet Research Agency amalgam—can hinder that legitimation process and conflict with democratic legitimacy, as we argue in section 8.4. We will conclude by returning to several cases that serve as through-lines to the book: Loomis, Wagner, and Houston Schools. -/- The link below is to an open-access copy of the chapter. (shrink)

Die Erkenntnis, dass Algorithmen diskriminieren, benachteiligen und ausschließen, ist mittlerweile weit verbreitet und anerkannt. Programme zur Verwendung im predictive policing, zur Berechnung von Rückfälligkeitswahrscheinlichkeiten bei Straftäter:innen oder zur automatischen Gesichtserkennung diskriminieren vor allem gegen nicht-Weiße Menschen. Im Zuge dieser Erkenntnis wird auch vereinzelt die Verbindung zu epistemischer Ungerechtigkeit hergestellt, wobei die meisten Beiträge die Verbindungen zwischen Algorithmen und epistemischer Ungerechtigkeit nicht im Detail analysieren. Dieser Artikel unternimmt einen Versuch, diese Lücke in der Literatur zu verkleinern. Dabei umreiße ich zunächst das (...) Feld der Algorithmen, um so die Entitäten, die epistemisch ungerecht sein könnten, klar zu fassen und zu unterscheiden. Dann erläutere ich eine Auswahl von epistemischen Ungerechtigkeiten, die für die Analyse von ungerechten Algorithmen relevant sind. Schließlich führe ich epistemische Ungerechtigkeiten und Algorithmen zusammen und zeige anhand von drei Beispielen – automatische Geschlechtserkennung, Googles Suchmaschinen-Algorithmus, PredPol – dass Algorithmen an testimonialer Ungerechtigkeit und hermeneutischer Ungerechtigkeit beteiligt sind. Sie tragen so zudem auf verschiedenen Ebenen zur Exklusion von marginalisierten Gruppen bei. (shrink)