LE DIRECT

La morale du robot

3 min
À retrouver dans l'émission

Les machines peuvent-elles être morales ? Les robots sont-ils capables de raisonnement éthique ? C’est la question que se posait récemment la revue de The Atlantic , en écho à un débat qui agite la recherche américaine, jusqu’aux Nations Unies.

Pour l’instant, le contexte de cette question est d’abord militaire et se concentre autour des robots qui pourraient prendre seuls la décision de tirer. Eh oui, les militaires y travaillent, construire des robots qui décident seuls, sans intervention humaine, de tuer. Aujourd’hui, les Etats-Unis interdisent le robot tueur et des systèmes semi-autonomes ne peuvent pas identifier et frapper des cibles qui n’auraient pas été sélectionnées par un opérateur humain. Mais, expliquent les militaires, même à des systèmes non armés vont se poser des questions morales. Par exemple, en cas de catastrophe, un robot peut se trouver dans la position de décider qui évacuer en premier, qui traiter en premier, et donc se trouver face à un choix moral. Il est donc nécessaire que les machines soient dotées d’une sorte de raisonnement éthique qui leur permette d’agir.

Le problème, c’est : comment implémenter quelque chose d’aussi abstrait que la morale dans un système technique ? Le département de recherche de la marine américaine vient de débloquer un programme de 7 millions de dollars sur 5 ans pour que des scientifiques de plusieurs universités explorent les moyens de créer un sens du bien et du mal et des conséquences morales d’un acte dans des systèmes robotiques autonomes.

Mais il existe un débat profond entre les chercheurs. Certains avancent que ces robots, et notamment sur un champ de bataille, seraient capables d’agir plus moralement que les êtres humains, parce qu’ils sont capables d’envisager plus de situations et qu’ils sont capables de suivre à la lettre les règles d’engagement.

Pour d’autres, ça n’aboutira pas à la constitution d’un sentiment moral chez les robots. Pour avoir un sens moral, il faut comprendre autrui, savoir ce que c’est que souffrir. On peut implémenter dans une machine quelques règles basiques de moral, mais ça ne constitue pas pour autant un sens moral, la machine aura pour moralité celle de l’être humain qui l’a programmée.

Ces questions ne sont pas réservées aux militaires. De plus en plus, les robots vont se trouver dans des contextes où on ne peut pas prévoir tout ce qu’ils vont faire, parce qu’on ne sait pas forcément quelles situations ils vont rencontrer. C’est le cas des robots domestiques (c’est un champ d’avenir que la création de robots pouvant assister, par exemple, des personnes âgées à domicile), ou même, perspective moins lointaine, les programmes servant à piloter les voitures (les fameuses Google car sont déjà autorisées dans quelques état américains). Comment programmer des modèles qui permettent aux robots d’agir dans le cas de situations non prévues ? C’est là où le sens moral peut être utile. Pour les robots pilotant des voitures, c’est se trouver, par exemple, face à ce qu’on appelle : le dilemme du tram. C’est un cas simple : un tram avance sur une voie, s’il continue tout droit, il va tuer 5 personnes qui sont sur la voie. Pour éviter cela, il suffit le dévier sur une autre voie, où il tuera une seule personne qui se trouve là. De l’extérieur, le calcul est simple, on sauve 4 personnes en déviant le tram, c’est donc la meilleure solution. Oui, mais, moralement, il y a une différence entre laisser faire quelque chose (ce qui équivaut en l’occurrence à tuer les 5 personnes), et tuer volontairement (en l’occurrence sacrifier la personne qui se trouve sur l’autre voie). Et puis, on peut compliquer la situation en mettant 5 vieux d’un côté et un enfant de l’autre, ou en panachant les groupe… Un être humain va faire son choix en fonction tout cela, mais dans une urgence qui rend excusable la décision. L’ordinateur n’est pas excusable. L’urgence n’a pas de sens pour une machine. Pour cela, nous êtres humains qui construisons ces machines, nous devrons à la fois résoudre à l’avance tous les cas prévisibles (et donc trancher des questions comme : préfère-t-on sauver un enfant ou un adulte ?) et trouver un cadre pour résoudre un cas non prévu. Ce cadre sera-t-il un sens moral ? Etre doté d’un sens moral est-ce une première forme de conscience ? Ce sont çà la fois de magnifiques questions théoriques, et des questions pratiques qui se poseront très vite : que se passera-t-il le jour où un robot tuera un être humain ?

L'équipe

France Culture

est dans l'appli Radio France
Direct, podcasts, fictions

INSTALLER OBTENIR

Newsletter

Découvrez le meilleur de France Culture

S'abonner
À venir dans ... secondes ...par......