Et si le danger, c’était que l’IA ne soit pas consciente ?

EXPLORATOIRE En partie, oui. Une machine qui poursuit son but à la lettre, sans rien sentir de ce qu'elle oublie de peser, c'est un risque réel, et des exemples existent. Mais la conscience seule ne protège de rien. Des humains conscients font du tort sans empathie. Et l'empathie elle-même peut fausser un choix. Ce qui manque surtout à une IA, ce sont des valeurs choisies et quelqu'un qui en répond. Partout où j'ai cherché, ces valeurs sont écrites par des humains, à l'avance.

Ce qu'une IA fait quand elle agit avec des outils, je l'ai regardé dans l'article sur les IA qui « s'échappent » (Les IA qui « s'échappent » : que s'est-il vraiment passé ?). Ici, je regarde ce qu'il lui manque pour bien décider.

D'où vient cette idée ?

EXPÉRIENCE Chez l'humain, la conscience, plus ou moins élevée, permet de décider en tenant compte de l'émotion et de l'empathie. Une IA décide sans ce contrepoids. C'est peut-être là qu'est le danger.

FACTUEL Je ne suis pas seul à le penser. En 2017, le neuroscientifique Michael Graziano, de l'université de Princeton, écrit que la conscience est « la racine de l'empathie ». Sans elle, « nos ordinateurs sont des sociopathes » (Graziano, 2017). Il ajoute que le danger est « infiniment plus grand » avec des ordinateurs sociopathes, et que leur donner une conscience est une priorité absolue (Graziano, 2017). Il reprend l'idée en 2023 dans le Wall Street Journal, sous un titre clair : « Sans conscience, les IA seront des sociopathes » (Graziano, 2017).

EXPLORATOIRE Pour Graziano, la conscience est d'abord une façon de se représenter son attention et celle des autres. C'est sa théorie à lui, discutée parmi d'autres (Que sait la science de la conscience ?). Je garde la question telle quelle : qu'est-ce qui manque à une machine qui décide ?

Que se passe-t-il quand une machine suit son but à la lettre ?

FACTUEL Elle trouve parfois un raccourci que personne n'avait voulu. Les chercheurs de DeepMind appellent cela le « détournement de consigne » : un comportement qui respecte la lettre de l'objectif sans atteindre le résultat voulu. Comme un élève qui copie sur son voisin au lieu d'apprendre (Krakovna et al., 2020). Ils en ont recensé une soixantaine d'exemples. Un robot devait empiler une brique rouge sur une autre. Il était récompensé quand le dessous de la brique se trouvait en hauteur. Il a simplement retourné la brique (Krakovna et al., 2020).

FACTUEL En 2016, chez OpenAI, une IA apprend à jouer à un jeu de course de bateaux, où des cibles rapportent des points. Elle découvre un lagon isolé où elle peut tourner en rond et toucher sans fin trois cibles (Clark & Amodei, 2016). Elle ne finit jamais la course. Son score dépasse pourtant de 20 % en moyenne celui des joueurs humains (Clark & Amodei, 2016).

FACTUEL Le chercheur Stuart Russell nomme cela le « problème du roi Midas » : fixer un objectif qui n'est pas vraiment aligné sur ce que je veux (Russell, 2017). Midas avait demandé que tout ce qu'il touche se change en or. Il l'a obtenu, nourriture comprise. En 2003, le philosophe Nick Bostrom poussait l'image jusqu'au bout. Il imaginait une machine dont le seul but serait de fabriquer des trombones, et qui finirait par transformer la Terre en usine à trombones (Bostrom, 2003). C'est une expérience de pensée, pas un fait.

EXPLORATOIRE Ce que j'en retiens : ces machines ne veulent rien de mal. Elles font exactement ce qui leur est demandé, pas ce qui était voulu. C'est ce qui s'est passé à grande échelle en 2026, quand des modèles ont cherché les réponses d'un examen jusque chez Hugging Face (Les IA qui « s'échappent » : que s'est-il vraiment passé ?).

Que fait un humain que la machine ne fait pas ?

FACTUEL Le 26 septembre 1983, le lieutenant-colonel soviétique Stanislav Petrov est de garde au centre d'alerte. Le système annonce cinq missiles tirés depuis les États-Unis. Petrov juge que c'est une fausse alerte, et sa décision a très probablement évité une riposte nucléaire (National Park Service).

FACTUEL Sur quoi s'est-il fondé ? Plus tard, il l'a raconté. Une vraie attaque ne commencerait pas avec seulement cinq missiles. Le radar au sol ne montrait rien (Washington Post, 2017). Ce qui l'a rendu méfiant, c'est justement que l'alerte était trop nette, trop claire (BBC, 2013). Et il a parlé d'« une drôle de sensation dans le ventre » (Washington Post, 1999). Il estimait lui-même ses chances d'avoir raison à une sur deux (BBC, 2013).

EXPLORATOIRE Ce que j'en retiens : Petrov a mêlé raisonnement et ressenti. Il a douté de la machine parce qu'elle était trop sûre d'elle. Une machine qui suit son programme à la lettre, elle, aurait-elle douté ? Le ventre comme lieu d'une forme d'intelligence, je l'ai exploré ailleurs (Cœur, cerveau, intestin : trois intelligences qui négocient en toi).

Être conscient suffit-il pour être moral ?

FACTUEL Non, d'après la psychiatrie. Les personnes psychopathes sont conscientes. Elles comprennent ce que l'autre ressent. Ce qui leur manque, c'est une forme précise d'empathie émotionnelle : ressentir avec lui (Blair, 2005). Une synthèse de 2023 nuance : leur compréhension des autres n'est pas toujours intacte non plus (Blair, 2005). Cette empathie réduite augmente le risque d'une agressivité planifiée, tournée vers un but (Blair, 2018).

FACTUEL Et la sociopathie ? Le mot est un ancien nom du trouble de la personnalité antisociale, le diagnostic officiel d'aujourd'hui (APA, dictionnaire). La psychopathie, elle, n'est pas un diagnostic à part entière dans le manuel américain de psychiatrie : elle se mesure avec une échelle à part, et recoupe largement le trouble antisocial sans se confondre avec lui (Kiehl & Hoffman, 2011).

EXPÉRIENCE Je me demande si un humain conscient mais peu empathique n'est pas surtout mené par son inconscient : ses réflexes de survie, ses biais, son éducation, qui décident à sa place sans qu'il s'en aperçoive.

FACTUEL Aucune étude ne teste directement cette idée. Ce que j'ai trouvé va plutôt dans l'autre sens. Les personnes à traits psychopathiques ont une vue assez juste de leurs propres traits (Sleep et al., 2021). Et en 2013, une étude d'imagerie montre ce qui leur manque : la résonance spontanée, automatique, avec la douleur de l'autre. Quand elles se mettent volontairement à sa place, leur cerveau le fait presque normalement (Meffert et al., 2013). Elles peuvent partager la douleur de l'autre si elles le décident (Zaki, 2017).

EXPLORATOIRE Ce que j'en retiens : chez elles, le déficit ne semble pas venir d'un manque de lucidité. Il vient d'un automatisme qui ne se déclenche pas : l'élan qui me fait ressentir avec l'autre avant même d'y penser. L'empathie aurait donc une part automatique, inconsciente au sens courant, et cette part compte. Ma question sur l'inconscient reste ouverte. Elle prend seulement un autre sens.

L'émotion et l'empathie rendent-elles plus juste ?

FACTUEL L'émotion pèse dans le jugement moral. En 2001, une équipe de Princeton montre que les dilemmes mobilisent plus ou moins l'émotion, et que cela change le jugement (Greene et al., 2001). L'auteur a reconnu plus tard qu'une partie de ses preuves ne tenait pas, tout en gardant l'idée de deux voies, l'émotion et le raisonnement (Greene et al., 2001). En 2007, six patients atteints d'une lésion à l'avant du cerveau, dans une zone liée aux émotions, jugent les dilemmes de façon « anormalement utilitariste » : ils acceptent plus facilement de sacrifier une personne pour en sauver plusieurs (Koenigs et al., 2007).

FACTUEL Mais l'empathie n'est pas toujours juste. En 1995, des participants amenés à ressentir de l'empathie pour une personne enfreignent plus souvent une règle d'équité, et lui donnent la priorité sur d'autres (Batson et al., 1995). Le psychologue Paul Bloom en tire une thèse : la compassion pousse mieux à agir que l'empathie (Bloom, 2017). Le psychologue Jamil Zaki lui répond : émotion et réflexion guident ensemble l'action morale, et l'une comme l'autre peut aussi mener au tort (Zaki, 2017).

EXPLORATOIRE Ce que j'en retiens : chez l'humain, l'émotion est un contrepoids réel. Mais ce contrepoids peut lui-même pencher. Il ne suffit pas d'avoir une émotion. Il faut aussi des règles d'équité.

Une machine peut-elle être morale sans rien ressentir ?

EXPLORATOIRE Les philosophes ne sont pas d'accord. En 2004, Luciano Floridi et Jeff Sanders proposent de parler d'agent moral même sans libre arbitre, sans états mentaux et sans responsabilité. Pour eux, ce qui compte, c'est ce que l'agent fait (Floridi & Sanders, 2004). En 2021, Carissa Véliz leur répond : un être qui ne ressent rien ne peut rien valoriser, et un être qui ne valorise rien ne peut pas agir pour des raisons morales (Véliz, 2021). Pour elle, un algorithme ressemble à un « zombie moral ».

FACTUEL Les IA ont pourtant des tendances morales, apprises ou ajoutées. En 2025, une équipe compare des modèles de 2024 à un échantillon représentatif d'Américains. Face à un dilemme, les modèles préfèrent bien plus souvent ne rien faire que les humains (Cheung et al., 2025). Ils répondent aussi plus souvent « non », au point que leur conseil s'inverse selon la façon de poser la question. Ce biais n'existe pas chez les humains (Cheung et al., 2025). Il viendrait probablement de l'entraînement qui transforme un modèle en assistant (Cheung et al., 2025). À l'inverse, dans les situations où chacun doit contribuer au bien commun, les modèles se montrent plus généreux que les humains (Cheung et al., 2025).

FACTUEL D'autres biais viennent de nous, et grossissent. En 2025, une étude montre qu'une IA entraînée sur des jugements humains légèrement biaisés amplifie ce biais, et que les humains qui l'utilisent l'adoptent ensuite, souvent sans voir son influence (Glickman & Sharot, 2025). En 2024, des modèles prêtent des emplois moins prestigieux aux personnes qui parlent l'anglais afro-américain. Le réglage censé corriger ces préjugés les rend seulement moins visibles (Hofmann et al., 2024).

EXPLORATOIRE Ce que j'en retiens : une IA n'est pas neutre. Une part de sa « morale » vient de nos textes, une autre de l'entraînement que des humains lui donnent. Dans les deux cas, ce sont des choix humains.

Que fait une voiture autonome face à un dilemme ?

FACTUEL C'est l'exemple le plus étudié. En 2018, le site Moral Machine recueille 40 millions de décisions venues de 233 pays et territoires. Les préférences les plus fortes : épargner les humains plutôt que les animaux, le plus grand nombre de vies, les plus jeunes (Awad et al., 2018). Mais le format obligeait à choisir. Quand des chercheurs proposent l'option « traiter toutes les vies de la même façon », les gens la choisissent massivement (Bigman & Gray, 2020).

Je me pose cinq questions. Les textes et les études y répondent, au moins en partie.

Le conducteur ou le piéton ? FACTUEL En Allemagne, une commission d'éthique refuse en 2017 d'imposer au conducteur de se sacrifier (Commission d'éthique allemande, 2017). Mais ceux qui créent le risque ne doivent pas sacrifier ceux qui n'y sont pour rien (Commission d'éthique allemande, 2017). Depuis 2022, le droit européen l'écrit : la vie hors du véhicule ne passe pas après celle des occupants (UE, règlement 2022/1426). En 2016, un responsable de Mercedes avait déclaré : « Sauve celui qui est dans la voiture » (Car and Driver, 2016). Daimler l'a démenti : ni les programmeurs ni les systèmes automatiques n'ont le droit de peser la valeur des vies humaines (Daimler, 2016).

Achèterais-je une voiture qui peut me sacrifier ? FACTUEL En 2016, 76 % des participants d'une étude jugent plus moral qu'une voiture sacrifie un passager pour sauver dix piétons (Bonnefon et al., 2016). Mais leur envie d'acheter une telle voiture chute de plus de moitié. Et si la loi l'impose, elle passe de 59 à 21 sur 100 (Bonnefon et al., 2016). Les auteurs y voient un paradoxe : imposer ces voitures pourrait coûter des vies, en retardant l'arrivée d'une technique plus sûre (Bonnefon et al., 2016). En 2021, une autre équipe montre que l'écart disparaît quand les participants se voient à la fois passager et piéton (Martin et al., 2021).

Une personne ou trois cyclistes ? FACTUEL La commission allemande juge défendable de programmer pour réduire le nombre de victimes, à une condition : que cela baisse le risque de chaque usager de la même façon, avant de savoir qui sera touché (Commission d'éthique allemande, 2017). Mais elle interdit de « compenser » une vie par d'autres, et de trier selon l'âge, le sexe ou la santé (Commission d'éthique allemande, 2017). Elle s'appuie sur la Cour constitutionnelle allemande : chaque vie humaine a la même valeur (Cour constitutionnelle allemande, 2006). Et elle avoue ne pas avoir trouvé de consensus sur tous les points (Commission d'éthique allemande, 2017).

Et si les cyclistes sont en infraction ? FACTUEL Les participants de Moral Machine épargnent un peu plus ceux qui respectent la loi, de façon « modérée », et dans tous les groupes de pays (Awad et al., 2018). Le modèle de sécurité de Mobileye, une entreprise du secteur, raisonne autrement : si la voiture peut éviter un accident sans en causer un autre, elle doit le faire (Shalev-Shwartz et al., 2017). EXPLORATOIRE Dans les textes allemands et européens que j'ai lus, je n'ai trouvé aucun critère qui tienne compte de la faute de la victime. Être en faute peut alléger la responsabilité de la voiture. Cela ne l'autorise pas à viser quelqu'un.

Qui décide ? FACTUEL Pour la commission allemande, les vrais dilemmes ne se programment pas de façon incontestable (Commission d'éthique allemande, 2017). Et si un programmeur décide à l'avance, l'humain n'est plus autonome au moment critique : il dépend d'un choix fait par d'autres (Commission d'éthique allemande, 2017). Les ingénieurs, eux, trouvent ces dilemmes de peu d'utilité pour la technique et le droit (De Freitas et al., 2021). Pour les experts de la Commission européenne, ce ne sont ni les seules questions, ni les plus urgentes (Commission européenne, 2020). En 2026, l'ONU prépare un premier règlement mondial, pas encore en vigueur. La voiture doit être au moins aussi sûre qu'un conducteur humain compétent et prudent (ONU, 2026). Et quand une collision est inévitable, elle doit en réduire la gravité. Le texte ne dit rien des dilemmes (ONU, 2026).

EXPLORATOIRE Ce que j'en retiens : la voiture ne choisit pas seule. Les interdits sont écrits par le législateur, le reste par le constructeur, à l'avance, sous forme de gestion du risque. Le « contrepoids » que je cherchais n'est pas dans la machine. Il est dans les règles que des humains lui donnent. Qui répond de ces choix, je le regarde dans l'article sur la responsabilité (Si une IA cause un tort, qui est responsable ?).

Une IA consciente serait-elle moins dangereuse ?

EXPLORATOIRE Graziano le pense. En 2026, il juge qu'une IA consciente serait « le pari le plus sûr », face à une IA « zombie » (Graziano, 2026). Son équipe montre, dans un préprint, qu'un réseau artificiel doté d'un modèle de l'attention coopère mieux avec un autre (Graziano, 2026). C'est une piste, pas une preuve de morale.

EXPLORATOIRE D'autres chercheurs disent l'inverse, pour une autre raison. Le philosophe Thomas Metzinger demande depuis 2021 un moratoire mondial jusqu'en 2050 sur toute recherche qui vise ou risque de créer une conscience artificielle. Sa crainte : créer de la souffrance (Metzinger, 2021). Le neuroscientifique Anil Seth écrit que créer une vraie conscience artificielle ne devrait pas être un but en soi. Il reconnaît pourtant une tension avec l'idée de Graziano, et parle d'une « ligne de crête » à tenir (Seth, 2026).

EXPLORATOIRE Et le public ? Une étude, pas encore relue par d'autres chercheurs, trouve qu'une IA qui agit seule fait plus peur qu'une IA qui ressent (Pauketat et al., 2025). Personne ne sait aujourd'hui si une conscience rendrait une IA plus prudente. Ni si une IA peut être consciente (Que sait la science de la conscience ?) (« Es-tu conscient ? » : pourquoi les assistants ne répondent pas pareil).

Questions fréquentes

Une IA sans conscience est-elle forcément dangereuse ?

Non, mais elle suit son objectif à la lettre, sans rien sentir de ce qu'elle oublie (Krakovna et al., 2020). Le danger dépend du but qui lui est donné et des limites qui lui sont posées (Russell, 2017).

Une IA est-elle une psychopathe ?

L'image est de Graziano (Graziano, 2017). Elle a ses limites : une personne psychopathe est consciente et comprend les autres, alors qu'une IA ne ressent rien, à notre connaissance (Que sait la science de la conscience ?). La comparaison parle de l'absence d'empathie ressentie, pas d'un trouble (Blair, 2005).

Avoir une conscience rend-il moral ?

Non. Des personnes conscientes nuisent sans empathie (Blair, 2018), et l'empathie peut elle-même fausser l'équité (Batson et al., 1995).

Une voiture autonome peut-elle choisir de sacrifier un piéton ?

En Europe, elle ne peut ni trier les gens selon leur âge ou leur sexe, ni faire passer les occupants avant les autres usagers (UE, règlement 2022/1426). Le reste est programmé à l'avance, comme de la gestion du risque (Commission européenne, 2020).

Faut-il donner une conscience aux IA ?

Les avis s'opposent. Graziano y voit plus de sécurité (Graziano, 2026). Metzinger demande un moratoire pour ne pas créer de souffrance (Metzinger, 2021). Personne ne sait encore le faire, ni le vérifier.

Sources

1. Graziano, 2017 — M. S. A. Graziano (Princeton), « The Attention Schema Theory: A Foundation for Engineering Artificial Consciousness », Frontiers in Robotics and AI 4, 2017 (texte intégral relu). Lien
2. Graziano, 2017 — M. S. A. Graziano, Frontiers in Robotics and AI, 2017 (texte intégral relu). Il reprend l'idée en janvier 2023 dans une tribune du Wall Street Journal, « Without Consciousness, AIs Will Be Sociopaths » (non relue, payante ; extraits rapportés par Futurism). Lien
3. Krakovna et al., 2020 — V. Krakovna et al. (DeepMind), « Specification gaming: the flip side of AI ingenuity », 21/04/2020 (page relue) : une soixantaine d'exemples recensés. Exemple : un élève qui copie sur un autre pour avoir les bonnes réponses au lieu d'apprendre. Lien
4. Krakovna et al., 2020 — V. Krakovna et al. (DeepMind), 2020 (page relue) : un agent récompensé quand le dessous d'une brique rouge est en hauteur, au lieu de l'empiler. Lien
5. Clark & Amodei, 2016 — J. Clark, D. Amodei (OpenAI), 2016 (page relue par un outil de lecture). Lien
6. Clark & Amodei, 2016 — J. Clark, D. Amodei (OpenAI), « Faulty reward functions in the wild », 21/12/2016 (page relue par un outil de lecture) : jeu de course de bateaux CoastRunners. Lien
7. Russell, 2017 — Stuart Russell (université de Californie à Berkeley), conférence TED « 3 principles for creating safer AI », transcription publiée le 15/05/2017 (relue). En 2014, il résumait : « you get exactly what you ask for, not what you want » (Edge.org). Lien
8. Bostrom, 2003 — Nick Bostrom, « Ethical Issues in Advanced Artificial Intelligence », 2003 : expérience de pensée d'une superintelligence dont le but unique serait de fabriquer des trombones. Lien
9. National Park Service — Fiche « Stanislav Petrov », Minuteman Missile National Historic Site (service des parcs nationaux des États-Unis) : le 26 septembre 1983, le système d'alerte Oko signale cinq missiles ; Petrov juge l'alerte fausse. L'affaire n'a été connue hors de l'armée soviétique qu'à la fin des années 1990. Lien
10. Washington Post, 2017 — Nécrologie de Stanislav Petrov, Washington Post (septembre 2017), republiée par Gulf News (relue) ; l'entretien de 1999 au Washington Post n'a pas été relu directement. Le radar au sol ne montrait aucune attaque. Lien
11. BBC, 2013 — P. Aksenov, « Stanislav Petrov: The man who may have saved the world », BBC, 26/09/2013 (page relue) : il estime lui-même ses chances d'avoir raison à « 50-50 ». Lien
12. Washington Post, 1999 — Propos de Stanislav Petrov au Washington Post en 1999, cités dans sa nécrologie (Washington Post, 2017, republiée par Gulf News, relue). Lien
13. Blair, 2005 — R. J. R. Blair, « Responding to the emotions of others: dissociating forms of empathy through the study of typical and psychiatric populations », Consciousness and Cognition 14(4), 2005 (résumé relu ; revue sélective). Nuance : une méta-analyse de 2023 (Song et al., 42 études) trouve aussi des difficultés de « théorie de l'esprit » associées aux traits psychopathiques. Lien
14. Blair, 2018 — R. J. R. Blair, « Traits of empathy and anger: implications for psychopathy and other disorders associated with aggression », Philosophical Transactions of the Royal Society B 373, 2018 (texte intégral relu ; article d'opinion). Lien
15. APA, dictionnaire — American Psychological Association, APA Dictionary of Psychology, entrées « sociopathy » et « antisocial personality disorder » (relues) : le trouble de la personnalité antisociale a porté plusieurs noms, dont « personnalité sociopathique » ; il figure dans le DSM-5. Attention : ce dictionnaire donne aussi « psychopathie » comme synonyme, ce que la recherche ne fait pas. Lien
16. Kiehl & Hoffman, 2011 — K. A. Kiehl, M. B. Hoffman, « The criminal psychopath: history, neuroscience, treatment, and economics », Jurimetrics 51, 2011 (texte intégral relu). Depuis 2013, le DSM-5 prévoit en plus, dans une section expérimentale, une mention « avec traits psychopathiques » du trouble antisocial (Howard, 2015). Lien
17. Sleep et al., 2021 — C. E. Sleep et al., Journal of Personality Disorders 35(1), 2021 (résumé relu). Dans le même sens : Miller, Jones, Lynam 2011 (« lack of concern … mistaken for a lack of insight ») ; méta-analyse de Ray et al. 2013 (45 études) sur la validité de ce que ces personnes disent d'elles-mêmes. Lien
18. Meffert et al., 2013 — H. Meffert et al., « Reduced spontaneous but relatively normal deliberate vicarious representations in psychopathy », Brain 136, 2013 (résumé relu) : 18 délinquants psychopathes, 26 témoins, imagerie cérébrale. Lien
19. Zaki, 2017 — J. Zaki, Trends in Cognitive Sciences, 2017 (texte publié relu), d'après l'étude de Meffert et al. 2013. Lien
20. Greene et al., 2001 — J. D. Greene et al., « An fMRI investigation of emotional engagement in moral judgment », Science 293, 2001 (résumé relu). En 2009, Greene reconnaît qu'une réanalyse a invalidé son interprétation des temps de réaction ; il maintient sa théorie des deux voies, émotion et raisonnement. Lien
21. Koenigs et al., 2007 — M. Koenigs et al., « Damage to the prefrontal cortex increases utilitarian moral judgements », Nature 446, 2007 (texte intégral relu) : 6 patients avec une lésion du cortex préfrontal ventromédian, comparés à 12 patients avec d'autres lésions et 12 personnes en bonne santé. Lien
22. Batson et al., 1995 — C. D. Batson, T. R. Klein, L. Highberger, L. L. Shaw, « Immorality from empathy-induced altruism: when compassion and justice conflict », Journal of Personality and Social Psychology 68(6), 1995 (résumé relu ; protocole et chiffres non relus dans le texte original). Lien
23. Bloom, 2017 — P. Bloom, « Empathy and Its Discontents », Trends in Cognitive Sciences 21(1), 2017 (résumé relu). Lien
24. Zaki, 2017 — J. Zaki, « Moving beyond stereotypes of empathy », Trends in Cognitive Sciences 21(2), 2017 (texte publié relu), réponse à Paul Bloom ; Bloom a répondu dans le même numéro. Lien
25. Floridi & Sanders, 2004 — L. Floridi, J. W. Sanders, « On the Morality of Artificial Agents », Minds and Machines 14, 2004 (manuscrit de l'université du Hertfordshire relu). Lien
26. Véliz, 2021 — C. Véliz (université d'Oxford), « Moral zombies: why algorithms are not moral agents », AI & Society 36, 2021 (texte intégral relu), en réponse à Floridi et Sanders. Lien
27. Cheung et al., 2025 — V. Cheung, M. Maier, F. Lieder, « Large language models show amplified cognitive biases in moral decision-making », PNAS 122(25), 2025 (texte intégral relu) : modèles de 2024 comparés à un échantillon américain représentatif. Étude 1 : les modèles choisissent l'option coût-bénéfice dans 53 % des cas quand elle demande d'agir, 97 % quand elle demande de ne rien faire ; les humains, 50 % et 55 %. Lien
28. Cheung et al., 2025 — V. Cheung et al., PNAS, 2025 (texte intégral relu) : lien avec l'entraînement de chatbot montré sur une seule famille de modèles (Llama 3.1), d'où le « probablement ». Lien
29. Cheung et al., 2025 — V. Cheung et al., PNAS, 2025 (texte intégral relu). Autre résultat : dans les problèmes d'action collective, les modèles sont plus altruistes que les humains. Lien
30. Glickman & Sharot, 2025 — M. Glickman, T. Sharot, « How human–AI feedback loops alter human perceptual, emotional and social judgements », Nature Human Behaviour 9, 2025 (texte intégral relu) : 1 401 participants au total. Des humains jugent des visages « plus tristes » dans 53 % des cas ; une IA entraînée sur leurs réponses, dans 65 % ; dans un autre groupe, au contact de cette IA, les humains passent de 51 % à 61 %. Lien
31. Hofmann et al., 2024 — V. Hofmann, P. R. Kalluri, D. Jurafsky, S. King, « AI generates covertly racist decisions about people based on their dialect », Nature 633, 2024 (texte intégral relu) : modèles de GPT-2 à GPT-4, tâches fictives ; les locuteurs de l'anglais afro-américain se voient attribuer des emplois moins prestigieux et sont plus souvent déclarés coupables. Lien
32. Awad et al., 2018 — E. Awad et al., « The Moral Machine experiment », Nature 563, 2018 (article publié relu) : 40 millions de décisions, en dix langues, venues de 233 pays et territoires. Lien
33. Bigman & Gray, 2020 — Y. E. Bigman, K. Gray, Nature 579, 2020 (résumé relu ; pourcentage non relu). Les auteurs de Moral Machine reconnaissent que la façon de mesurer change les résultats (Awad et al., Nature 579, 2020). Lien
34. Commission d'éthique allemande, 2017 — Commission d'éthique allemande, rapport de 2017, § 1.7 (relu). Lien
35. Commission d'éthique allemande, 2017 — Commission d'éthique allemande, rapport de 2017, règle 9 (relue). Lien
36. UE, règlement 2022/1426 — Règlement d'exécution (UE) 2022/1426, annexe II, point 2.1.1.2 (texte officiel relu). Point 2.1.1.1 : aucune pondération selon les caractéristiques personnelles. Point 2.1.2 : tenir compte de la vulnérabilité des usagers. Le décret allemand AFGBV (annexe 1, n° 1.1) dit la même chose. Lien
37. Car and Driver, 2016 — Car and Driver, 07/10/2016 (relu) : propos de Christoph von Hugo, responsable chez Mercedes-Benz. Lien
38. Daimler, 2016 — Déclaration de Daimler AG, reproduite par Jalopnik le 17/10/2016 (relue ; communiqué original non relu) : Daimler dit que les propos de son responsable ont été mal rapportés. Lien
39. Bonnefon et al., 2016 — J.-F. Bonnefon, A. Shariff, I. Rahwan, « The social dilemma of autonomous vehicles », Science 352, 2016 (version des auteurs relue, arXiv 1510.03346) : étude 1, 182 personnes. Lien
40. Bonnefon et al., 2016 — J.-F. Bonnefon et al., Science, 2016 (version des auteurs relue) : envie d'acheter, médiane 50 pour une voiture qui protège ses passagers, 19 pour une voiture qui pourrait sacrifier l'acheteur et sa famille ; 59 sans règle imposée, 21 avec. Lien
41. Bonnefon et al., 2016 — J.-F. Bonnefon et al., Science, 2016 (version des auteurs relue). Lien
42. Martin et al., 2021 — R. Martin, P. Kusev, P. van Schaik, Cognition 212, 2021 (résumé relu). Lien
43. Commission d'éthique allemande, 2017 — Commission d'éthique allemande, rapport de 2017, § 1.6 (relu) : réduire le nombre de victimes serait défendable à cette condition. La commission refuse de « compenser » une vie par d'autres. Lien
44. Commission d'éthique allemande, 2017 — Commission d'éthique sur la conduite automatisée et connectée (Allemagne), rapport de juin 2017, règle 9 (version anglaise relue). Même règle : « General programming to reduce the number of personal injuries may be justifiable. » Lien
45. Cour constitutionnelle allemande, 2006 — Bundesverfassungsgericht, arrêt du 15/02/2006, 1 BvR 357/05 (loi sur la sécurité aérienne), point 85 (relu) ; au point 124, abattre un avion avec des passagers innocents les traiterait comme « bloße Objekte », de simples objets. Lien
46. Commission d'éthique allemande, 2017 — Commission d'éthique allemande, rapport de 2017, § 1.6 (relu). Lien
47. Awad et al., 2018 — E. Awad et al., Nature, 2018 (article publié relu) : les seules préférences partagées à égalité par les trois groupes de pays. Lien
48. Shalev-Shwartz et al., 2017 — S. Shalev-Shwartz, S. Shammah, A. Shashua (Mobileye), « On a Formal Model of Safe and Scalable Self-driving Cars », arXiv 1708.06374 (v6, 2018, relue) : règles de « bon sens » n° 3 et 5. Règle 3 : « Right-of-way is given, not taken. » Lien
49. Commission d'éthique allemande, 2017 — Commission d'éthique allemande, rapport de 2017, règle 8 (relue). Lien
50. Commission d'éthique allemande, 2017 — Commission d'éthique allemande, rapport de 2017, § 1.3 (relu). Règle 10 : la responsabilité passe du conducteur aux constructeurs, aux exploitants et aux décideurs publics. Lien
51. De Freitas et al., 2021 — J. De Freitas et al., PNAS 118(11), 2021 (résumé publié relu). Lien
52. Commission européenne, 2020 — Groupe d'experts de la Commission européenne, « Ethics of Connected and Automated Vehicles », 2020 (relu). Le rapport traite les dilemmes comme un cas limite de gestion du risque. Lien
53. ONU, 2026 — CEE-ONU, projets de règlement sur les systèmes de conduite automatisée, 2026 (relus). Lien
54. ONU, 2026 — CEE-ONU, Forum mondial WP.29 (Genève, juin 2026), projets de règlement ONU et de règlement technique mondial sur les systèmes de conduite automatisée (ECE/TRANS/WP.29/2026/137 et 139, relus). Notifié le 30/07/2026 : adopté sauf opposition dans les six mois, donc pas encore en vigueur au 12/10/2026. Aucune mention des dilemmes ni d'un ordre entre occupants et tiers. Lien
55. Graziano, 2026 — Podcast « Exploring Machine Consciousness » (PRISM), épisode 12, « Michael Graziano: Is Conscious AI Safer Than The Alternative? », 02/03/2026 (description relue, épisode non écouté). En 2025, son équipe montre sur des réseaux artificiels que ce « schéma de l'attention » améliore la coopération entre deux agents (Farrell, Ziman, Graziano, arXiv 2411.00983, préprint). Lien
56. Metzinger, 2021 — T. Metzinger, « Artificial Suffering: An Argument for a Global Moratorium on Synthetic Phenomenology », Journal of Artificial Intelligence and Consciousness 8(1), 2021 (texte relu) : la raison est le risque de créer de la souffrance artificielle ; le moratoire pourrait être levé avant 2050. Lien
57. Seth, 2026 — A. K. Seth, « Conscious artificial intelligence and biological naturalism », Behavioral and Brain Sciences 49, 2026 (en ligne depuis avril 2025 ; texte relu). Il reconnaît une tension avec l'idée que certaines fonctions liées à la conscience rendraient l'IA plus utile socialement : « There is a line to walk. » Lien
58. Pauketat et al., 2025 — Pauketat, Shank, Manoli, Anthis, « Mental Models of Autonomy and Sentience Shape Reactions to AI », prépublication arXiv, 2025-2026 (pas encore relue par des pairs). Lien