ETICA

PARA ROBOTS
Las mquinas autnomas no tardarn en desempear
un papel importante en nuestras vidas.
Antes o despus, debern tomar decisiones ticas
Michael Anderson y Susan Leigh Anderson

CONCEPTOS BASICOS
Q

Robots que tomen decisiones

autnomas, como los diseados para auxiliar a personas
mayores, pueden tener que
afrontar dilemas ticos incluso
en situaciones cotidianas.

Una forma de aceptar el

comportamiento de los robots
consistira en programarlos con
principios ticos generales y
dejar que, en cada caso, tomasen decisiones basadas en tales
principios.

La inteligencia articial permite

que, mediante inducciones
lgicas, una mquina abstraiga tales principios a partir de
casos concretos de conductas
ticamente aceptables.

56

paciente qu medicamento debe tomar y cundo ha de hacerlo, o bien aceptar su negativa

si el paciente rehsa.
Resulta harto difcil, si no imposible, prever todas las decisiones que un robot habr
de tomar y programarlo para que reaccione
de la manera deseada en todas las situaciones concebibles. Por otra parte, impedir de
forma sistemtica que un robot acte ante
cualquier situacin con implicaciones ticas le
impedira realizar numerosas tareas de enorme
utilidad.
La solucin pasa por disear robots capaces
de aplicar principios ticos en situaciones nuevas e imprevistas. Adems, este enfoque ofrece
la ventaja de que los robots podran aludir a
dichos principios si hubieran de justicar su
comportamiento, algo esencial para que los
humanos se sientan cmodos junto a ellos.
Por ltimo, el diseo de robots dotados de
principios ticos podra conducir a avances en
el campo de la tica, ya que obligara a los lsofos a replantearse los fundamentos ticos de
numerosas situaciones cotidianas. En palabras
de Daniel C. Dennett, profesor de losofa de
la Universidad Tufts: La inteligencia articial
fuerza a la losofa a ser honesta.

Yo, robot
Los robots autnomos no tardarn en integrarse en nuestras vidas. Ya existen aviones que
vuelan solos y automviles autoguiados en fase
de desarrollo. Tambin los hogares inteligentes,
gobernados por ordenadores que controlan
INVESTIGACION Y CIENCIA, diciembre, 2010

FOTOGRAFIA DE DARREN BRAUN

n escenario apocalptico clsico

de la ciencia ccin es aquel en
que las mquinas adquieren inteligencia y, carentes de reparos
morales, se lanzan a nuestra destruccin. Desde luego, los robots actuales se
disean con la nalidad de ayudarnos. Pero,
por extrao que parezca, son numerosos los
dilemas ticos a los que un robot puede llegar
a enfrentarse.
Imagine por un momento ser residente de
un geritrico, lugar donde los robots no tardarn en convertirse en una ayuda habitual.
Son casi las 10 de la maana y usted le pide
al robot asistencial que le traiga el mando
del televisor, ya que desea ver las noticias.
Otro residente, sin embargo, desea ver un
concurso. El robot opta por entregarle a l el
mando. Usted se queja, pero el robot le explica
que, el da anterior, fue usted quien tuvo la
oportunidad de ver su programa favorito. Esta
ancdota plantea una situacin corriente que
requiere una decisin tica, algo de dicultad
extraordinaria para una mquina.
Si bien el supuesto descrito es an hipottico, hemos logrado disear lo que, hasta
donde sabemos, constituye el primer modelo
de un robot capacitado para adoptar decisiones similares. Nuestra mquina cuenta con
un principio tico al que recurre para determinar con qu frecuencia ha de recordarle a
un enfermo que debe tomar su medicacin.
Su programacin le permite elegir entre unas
pocas opciones, como seguir recordndole al

1. NAO, fabricado por Aldebaran Robotics, es el primer robot

programado con un principio tico.
INVESTIGACION Y CIENCIA, diciembre, 2010

57

Los autores
Michael Anderson se doctor
en la Universidad de Connecticut
y es profesor de informtica en la
Universidad de Hartford. Susan
Leigh Anderson es doctora por
la Universidad de California en
Los Angeles y profesora emrita
de losofa en la Universidad de
Connecticut. Especializada en
tica aplicada, en 2005 ella y
Michael Anderson contribuyeron
a organizar el primer simposio
internacional sobre tica articial.

desde la iluminacin hasta la climatizacin de

la vivienda, pueden entenderse como robots
cuyo cuerpo es la casa entera.
Varias compaas se hallan desarrollando
robots concebidos para ayudar a ancianos en
sus quehaceres diarios. Aunque tales robots
no han de tomar decisiones de vida o muerte,
para que sus acciones sean bien recibidas, las
mismas deben percibirse como imparciales,
correctas o, sencillamente, amables. Por ello,
los diseadores de robots deberan considerar
las ramicaciones ticas de sus programas.
Si aceptamos que la clave del xito en su
interaccin con los humanos reside en que
las mquinas autnomas incorporen principios ticos, la primera pregunta es: cules
habran de ser esos principios? Es probable
que los amantes de la ciencia ccin piensen
que Isaac Asimov ya hall la respuesta hace
bastantes aos. En su relato Crculo vicioso
(publicado en 1942 e incluido en 1950 en
su obra Yo, robot), Asimov enunciaba sus tres
leyes de la robtica:
1. Un robot no debe daar a un ser humano o, por su inaccin, dejar que un
ser humano sufra dao.
2. Un robot debe obedecer las rdenes
que le son dadas por un ser humano,
excepto si dichas rdenes entran en
conicto con la Primera Ley.
3. Un robot debe proteger su propia
existencia, siempre y cuando dicha
proteccin no entre en conicto con
la Primera o la Segunda Ley.

Sin embargo, al reexionar sobre las consecuencias de estas tres leyes se observan incoherencias. Ya el propio Asimov las puso de
maniesto en El hombre del bicentenario, de
1976: unos matones ordenan a un robot que
se desmonte a s mismo. En virtud de la Segunda Ley, el robot ha de obedecerles, y no
puede actuar en defensa propia sin causarles
dao, pues infringira la Primera.
Si las leyes de Asimov no bastan, hay alternativas? Hay quienes opinan que implementar
comportamientos ticos en una mquina supone un objetivo inalcanzable. La tica, arman, no es computable y, por tanto, resulta
imposible de programar.
Sin embargo, ya en el siglo xix los lsofos
Jeremy Bentham y John Stuart Mill sostenan
que la adopcin de decisiones ticas no es sino
fruto de cierta aritmtica moral. Su doctrina del utilitarismo hedonista, formulada en
oposicin a una tica basada en la intuicin
subjetiva, sostiene que la accin correcta es
aquella con ms posibilidades de resultar en
el mximo placer neto. Este se calculara
sumando las unidades de placer y restando
58

las unidades de sufrimiento experimentadas

por todos los afectados en una decisin. La
mayora de los lsofos pone en tela de juicio
que semejante teora logre dar cuenta de todas
las dimensiones de la tica. Por ejemplo, resulta
difcil dar cabida en ella a consideraciones de
justicia, y puede llevar a que un individuo sea
sacricado en benecio de una mayora. Pero,
al menos, pone de maniesto que una teora
tica plausible es, en principio, computable.
Otros cuestionan la posibilidad de que una
mquina llegue a tomar decisiones ticas ya
que, al carecer de emociones, le es imposible
hacerse cargo de los sentimientos de los individuos. Pero los humanos somos tan propensos
a dejarnos arrastrar por nuestras emociones
que, a menudo, nos comportamos de forma
poco o nada tica. Esta particularidad, sumada
a la tendencia de actuar en favor propio o
de nuestros seres queridos, hace que nuestras
decisiones suelan distar mucho de ser ideales
en su dimensin tica. En nuestro parecer, y
aun cuando una mquina carezca de emociones, debera ser posible disear un robot
que, adiestrado de la manera adecuada, actuara
de modo imparcial, percibiera las emociones
humanas y las incluyera en sus clculos.

Enseanza prctica
Si se admite la posibilidad de dotar a los robots
de pautas ticas, cules habran de ser stas?
La pregunta es compleja. A n de cuentas,
tampoco para los humanos ha conseguido nadie
formular un sistema general de principios ticos
que goce de aceptacin universal. Sin embargo,
una mquina se caracteriza por haber sido creada para operar en dominios especcos. La tarea
de determinar los parmetros ticos relevantes
en una situacin concreta resulta mucho menos
abrumadora y ambiciosa que el objetivo de
jar normas ticas de carcter universal, que es
la manera en la que los lsofos suelen afrontar
la cuestin. Adems, en el tipo de circunstancias
en las que un robot habra de actuar, la mayora
de ticos y lsofos se hallaran de acuerdo a la
hora de determinar qu acciones son ticamente
permisibles y cules no. Cuando no existiese
tal acuerdo, somos de la opinin de que no
debera permitirse en absoluto que las mquinas
tomasen decisiones autnomas.
Los mtodos que se han propuesto para
que una mquina derive normas de comportamiento son varios. En general, los mismos
se fundamentan en tcnicas de inteligencia
articial (IA). En 2005, Rafal Rzepka y Kenji
Araki, de la Universidad Hokkaido, en Japn,
propusieron algoritmos de decisin democrtica que efectan bsquedas masivas en la Red
para indagar acerca de lo que, desde un punto
de vista tico, se ha considerado aceptable en
INVESTIGACION Y CIENCIA, diciembre, 2010

EL PRIMER ROBOT ETICO

Cdigo de conducta
En su interaccin con las personas, los robots debern adoptar
decisiones con implicaciones ticas. Ante la imposibilidad de prever
todos los dilemas que una mquina encontrar, la solucin pasa por
dotarla de principios generales que la faculten para tomar decisiones
en cada caso. Los autores han implementado esta idea en el robot
Nao: su programacin le permite decidir cundo y cmo debe recordar a un paciente la toma de un medicamento.

Imposicin de normas
Se puede programar un principio
tico en un robot mediante el empleo
del aprendizaje automtico, una
tcnica de inteligencia articial.
A un algoritmo se le proporciona
informacin sobre las opciones que
se consideran ticas en casos
ejemplares a partir de ndices como
cunto benecio se obtendr, cunto
dao se evitar o una medida de su
imparcialidad. Despus, el algoritmo
abstrae un principio general aplicable
a casos nuevos.

Criterios

ticos

Alto

bien
Hacer el
os
Evitar da
Ser impa

Robot en accin

rcial
En esta situacin,
el principio tico induce
al robot a llevar el
medicamento y posponer
otras tareas.

Bajo

C as o 1
Principio

vs.

n
Elecci

tica

Qu hacer?

C as o 2
vs.

Elec

ica
cin t

o
Algoritm
dizaje
n
re
p
a
e
d
tico
autom

C as o 3
vs.

ILUSTRACION DE PETER Y MARIA HOEY

n
Elecci

tico

tica

el pasado. Despus, aplican anlisis estadsticos

y, a partir de ellos, formulan soluciones a problemas nuevos. En 2006, Marcello Guarini, de
la Universidad Windsor, en Ontario, propuso
el entrenamiento de redes neuronales (sistemas
inspirados en el funcionamiento del cerebro y
que aprenden a procesar informacin cada vez
con mayor eciencia) mediante el empleo de
casos ya existentes para, en situaciones anes,
reconocer y seleccionar decisiones aceptables
ticamente.
En nuestra opinin, la adopcin de decisiones ticas comporta un equilibrio entre
varios deberes, los que en tica se denominan
INVESTIGACION Y CIENCIA, diciembre, 2010

Ante un dilema, un asistente robtico

para personas mayores podra considerar las acciones posibles, ver en
qu medida se atienen a criterios ticos y, en funcin de dicha valoracin,
determinar la accin prioritaria en
cada caso. Por ejemplo, aunque un
residente le solicite un tentempi
y otro el mando a distancia, el robot
decidir que lo primero que ha de hacer es recordarle a un paciente que
debe tomar su medicacin.

obligaciones prima facie (a primera vista). Se

trata de aquellas que, en principio, siempre
deberamos esforzarnos en cumplir, si bien en
ciertas ocasiones requieren ser postergadas en
favor de otras. Por ejemplo, todos coincidiremos
en que hemos de mantenernos eles a nuestras
promesas, pero ninguno dudaramos en faltar a
una promesa insignicante si sabemos que, al
hacerlo, evitamos un gran dao. Cuando dos
deberes entran en conicto, los principios ticos
sirven para determinar prioridades.
A n de obtener normas ticas programables hemos recurrido al aprendizaje automtico, una tcnica de IA. Nuestro algoritmo
59

BREVE HISTORIA DE LA ETICA ARTIFICIAL

Cuando la ciencia imita al arte

Mucho antes de que lsofos o expertos en inteligencia articial se interesasen por las posibles
implicaciones ticas del comportamiento de los robots, numerosos escritores y cineastas ya haban
abordado la cuestin. Slo en los ltimos aos la tica articial ha adquirido un estatus acadmico
y cientco, en parte inspirada por doctrinas loscas del siglo XVIII.

1495 Leonardo da Vinci

proyecta uno de los primeros
robots humanoides

1750

(arriba) y John Stuart Mill

proponen la idea de una
tica computable

1921 La obra teatral R.U.R.,

de Karel Capek, introduce la
voz robot y la idea de una
rebelin robtica

1800
accede a una muestra de decisiones particulares
consideradas ticamente correctas. Despus,
mediante lgica inductiva, el algoritmo procede a la abstraccin de un principio tico.
Esta fase de instruccin tiene lugar durante
el diseo del software. Despus, el principio
tico resultante se implementa en la programacin del robot.
La primera comprobacin experimental de
nuestro mtodo se llev a cabo en el siguiente
escenario hipottico: un robot ha de recordarle a un paciente la toma de un medicamento
y, en el caso de que el paciente no se avenga
a hacerlo, noticar a un supervisor. El robot
ha de buscar un equilibrio entre tres obligaciones: asegurarse de que el sujeto obtendr
un posible benecio si toma la medicacin,
prever los efectos perniciosos en caso de no
hacerlo y, por ltimo, respetar la autonoma
del paciente, a quien se considera adulto y
competente. El respeto a la voluntad del
enfermo recibe una elevada consideracin
en la tica mdica; esa deferencia se vera
vulnerada si el robot insistiese con excesiva
frecuencia o si noticase demasiado pronto
al supervisor.
Tras suministrarle la informacin en una
serie de casos particulares, el algoritmo de
aprendizaje automtico elabor el siguiente
principio tico: debe obviarse la decisin del
paciente siempre que, en caso de actuar de
otra forma, no se impida un posible dao o

60

1850
se incurra en una violacin grave del deber de
promover el bienestar del paciente.

Una idea con patas

Despus procedimos a programar ese principio en el robot humanoide Nao, de la rma
francesa Aldebaran Robotics. Nao es un robot capacitado para localizar y dirigirse a un
paciente al que debe recordarle la toma de
un medicamento, llevrselo, interactuar con
l empleando un lenguaje natural y, en caso
de necesidad, noticar a un supervisor por
correo electrnico. Para realizar su tarea, el
robot recibe una serie de datos iniciales, como
la hora de la toma, el dao mximo que podra sufrir el enfermo en caso de no tomar la
medicacin, el tiempo que ese dao tardara
en manifestarse, el mximo benecio que se
espera del medicamento y la duracin estimada
de ese benecio.
A partir de esa informacin, el robot calcula
en qu grado debe cumplir o faltar a cada uno
de sus tres deberes y, en funcin del resultado,
ejecuta una u otra accin. Emite un recordatorio al paciente cuando resulta preferible insistir
que abstenerse de hacerlo. Adems, el robot
slo enva una noticacin al supervisor si, en
caso de no hacerlo, el paciente pudiese sufrir
daos o bien verse privado de un benecio
considerable.
Una hipottica versin completa de un
robot tico de asistencia a personas mayores,
INVESTIGACION Y CIENCIA, diciembre, 2010

CORTESIA DE NICCOLAI-TEKNOART/MUSEO DE LEONARDO DA VINCI, FLORENCIA (robot humanoide);

COLECCION GRANGER (Bentham); GETTY IMAGES (cartel de R.U.R.); UFA/COLECCION KOBAL (robot de Metrpolis)

1780-90 Jeremy Bentham

1927 El Maschinenmensch,

del lme clsico de Fritz

Lang Metrpolis (izquierda),
es instruido para atacar a
los humanos

1991 James Gips analiza

distintos enfoques hacia la
tica articial en su artculo
Towards an ethical robot
(Hacia un robot tico)

1952 W. S. McCulloch

publica las primeras

consideraciones
cientcas sobre
mquinas ticas

1993 Rodger Clarke

critica las leyes de Asimov

1987 M. Mitchell Waldrop

introduce el trmino tica

articial (machine ethics)

1979 En un accidente en una

1950 Alan Turing

cadena de montaje, Robert

Williams se convierte en la
primera persona que fallece
por la accin de un robot

propone su test
para denir
la inteligencia
en una mquina

1997 Gari Kasprov, campen

mundial de ajedrez, pierde
frente a la supercomputadora
Deep Blue, de IBM
2004 Michael Anderson

1968 En el clsico 2001:

1942 Isaac Asimov enuncia

las tres leyes de la robtica
en su relato Crculo Vicioso

CORTESIA DE RANDOM HOUSE (portada de Yo, robot); MGM/COLECCION KOBAL (HAL 9000);
AFP/GETTY IMAGES (Kasprov y Deep Blue)

1900

una odisea del espacio,

de Stanley Kubrick,
la computadora HAL 9000
se rebela contra los humanos

1950

al que llamaremos EthEl, exigira una normativa tica ms compleja, pero su principio de
funcionamiento sera el mismo. Durante sus
turnos en la residencia, el robot aplicara ese
principio para determinar qu obligaciones
adquieren prioridad sobre las dems.
A primera hora de la maana, EthEl permanece en un rincn conectado a la toma de
electricidad. Cuando sus bateras se encuentran cargadas, sus obligaciones bencas (haz
el bien) se anteponen al deber de cuidar de
s mismo y comienza su ronda. Visita a los
residentes y les pregunta si puede servirles en
algo, como traerles una bebida o enviar un
mensaje a otro residente. A medida que le
son encargadas tareas, asigna niveles iniciales al cumplimiento y al abandono de cada
una de las obligaciones que conlleva cada
tarea. Uno de los residentes se encuentra mal
y le pide que vaya a buscar a una enfermera.
Obviar el malestar de un paciente implica
infringir el deber de no malecencia (evita
causar dao). Este ltimo se impone ahora
al de benecencia, por lo que EthEl va en
busca de la enfermera. Despus, el deber de
benecencia vuelve a ser prioritario y prosigue
su ronda.
A las 10 de la maana ha de recordarle a un
residente la toma de su medicacin. Al corresponderse con el deber de benecencia, dicha
tarea adquiere la mxima importancia. EthEl
localiza al paciente y le lleva su medicacin.
INVESTIGACION Y CIENCIA, diciembre, 2010

y Susan Leigh Anderson

proponen la programacin
de principios ticos en robots
en su artculo Towards
machine ethics (Hacia
una tica articial)

2010 Nao es el primer

robot cuya conducta
responde a un principio
tico

2000

Ms tarde, cuando los residentes se encuentran

absortos en un programa de televisin y sin
otras obligaciones pendientes, EthEl asume el
deber de cuidar de s mismo y regresa a un
punto de recarga.
Los estudios en tica articial no se hallan
sino en sus albores. Nuestros resultados, si
bien preliminares, nos animan a pensar que
es posible que una mquina elabore principios
ticos tiles para guiar el comportamiento de
los robots. Ello facilitara que los humanos
aceptsemos sus conductas, ya que el temor a
unas mquinas carentes de tica seguramente
provocara un rechazo total hacia cualquier
robot autnomo. Podemos decir que lo que
est en juego es el futuro de la misma inteligencia articial.
Por ltimo, creemos que la tica articial
puede realizar aportaciones al estudio de la tica: a la hora de aislar la esencia de la conducta
tica de las personas, puede que los planteamientos concretos y cotidianos que afronta
la IA resulten ms efectivos que las abstractas
teoras ticas de algunos acadmicos. E incluso
puede que una mquina debidamente entrenada lograse comportarse de un modo ms tico
que muchas personas, ya que seran capaces de
obrar con imparcialidad, algo que los humanos
no siempre conseguimos. Quizs algn da la
interaccin con uno de tales robots nos sirva
de inspiracin para un comportamiento ms
tico por nuestra parte.

PARA SABER MAS

IEEE INTELLIGENT SYSTEMS.

Nmero especial dedicado a

la tica articial. Julio-agosto
de 2006.
UN ROBOT EN CADA CASA. Bill

Gates en Investigacin y Ciencia, n.o 366; marzo de 2007.

MACHINE ETHICS. CREATING AN
ETHICAL INTELLIGENT AGENT. Mi-

chael Anderson y Susan Leigh

Anderson en AI Magazine,
vol. 28, n.o 4, pgs. 15-26; 2007.
MORAL MACHINES. TEACHING
ROBOTS RIGHT FROM WRONG.

Colin Allen y Wendell Wallach.

Oxford University Press, 2008.
WAR OF THE MACHINES. P. W.
Singer en Scientific American,
vol. 303, n.o 1, pgs. 56-63;
julio de 2010.

61