Lo ético de los algoritmos

La ética o filosofía moral es propia del hombre en su entorno, en sociedad, por cuanto remite a lo ‘otro’ o al ‘otro’, «un interés por algo o alguien ajeno a nosotros, más allá de nuestros propios deseos e interés egoísta»[1] [2].

---------------------------------------------------------------------------------------------------

Sobre ética y ley

La ética pertenece al campo de lo privado, de lo no codificado por la ley. Es la "Parte de la filosofía que trata del bien y del fundamento de sus valores"; "Conjunto de normas morales que rigen la conducta de la persona en cualquier ámbito de la vida. Ética profesional, cívica, deportiva." [DLE]. No hay una ‘ética universal’: es local, subjetiva, cultural. 

La legalidad, el derecho[1] ‘codifican’ (formalizan / regulan) parte de los principios éticos. Tampoco hay un ‘derecho universal’: es — sobre todo— nacional y nacionalista.

Hace unos 39 siglos se esculpió el ‘Código de Hammurabi’ (conservado en el Louvre), que es considerado como la primera codificación conocida de derechos y obligaciones humanos. Como referencia, quizá más familiar, Moisés bajó del Sinaí, con las Tablas de la Ley, 5 ó 6 siglos después. 

La Revolución Francesa produjo en 1789 la Declaración de Derechos del Hombre y la ONU en 1948 La Declaración Universal de Derechos Humanos. 

Hace unos 75 años, Isaac Asimov acuñó las ‘Tres Leyes de la Robótica’ —luego evolucionadas a la Roboética— codificando derechos y obligaciones de robots, demonios y otro software de Inteligencia Artificial. 

En 2002 Rodney Brooks, a la sazón director del MIT Artificial Intelligence Laboratory pronosticaba que —igual que históricamente se han ido reconociendo ciertos derechos (p. ej. a un trato digno) a muchos animales y, sobre todo a las mascotas) —, es plausible que surjan corrientes de reconocimiento de derechos a algunas de esas máquinas, sobre todo a las más antropomorfas y a las que ‘convivan’ en nuestros hogares —robots domésticos, más humanoides que las nuevas aspiradoras.

[1] [Una versión previa de este material fue publicado anteriormente en Palao, M. (2010). “Presunción de inocencia”. Novática 206, verano del 2010].

http://www.ati.es/novatica/2010/206/Nv206‐Referencias.pdf 

[URL a 20170613]. 

---------------------------------------------------------------------------------------------------

Sobre ética llevan las mejores plumas de la Humanidad debatiendo 40 siglos, por lo que intentar aquí definirla sería pretencioso y cuestionable. Admítase —para poder proseguir con el artículo— que consiste en “saber lo que se debe hacer, y hacerlo”.

La ética es una actividad meramente humana. El adjetivo ‘ético’ se aplica a personas, a sus ideas, actos —y omisiones— y productos. Y normalmente reside, consensuada, en las diversas instituciones sociales que cada colectividad comparte.

Los objetos, los artefactos, los vegetales y animales no son en sí éticos o no éticos: la ética es humana.

Es el uso (o el no uso) de objetos, seres, productos o tecnologías —silvicultura, trato a los animales, prostitución, armamento, medicamentos, noticias, informática— el que se puede calificar de ético o no ético.

Aunque hay excepciones a la afirmación de que los objetos, artefactos, vegetales y animales no sean éticos o no éticos. 

--------------------------------------------------------------------------------------------------- 

Aplicaciones aparentemente inocuas

Pueden ser ‘relevantes’ aunque ningún afectado sufra una pérdida sensible. Esta es una estrategia de elección para muchos defraudadores que tienen acceso a grandes volúmenes de usuarios. Una técnica clásica es la conocida como del ‘salami’ (una especie de salchichón italiano), del que robando rodajas finas, casi ‘imperceptibles’ se puede sacar una gran tajada, si se hace a mu‐ chas personas, por ejemplo por manipulación de los redondeos en los abonos o en las vueltas de dinero.

O los números de teléfono de tarifa muy alta a los que se conduce al usuario con engaño o insuficiente información; o los protocolos de atención telefónica que demoran la respuesta para inflar la tarifa, mientras te deleitan con una melodía.

Suelen ser mermas individuales tan pequeñas que nadie las denuncia e incluso si lo pretendiese encontraría que no hay cauces legales adecuados. 

---------------------------------------------------------------------------------------------------

Serían no éticos aquéllos artefactos en los que en su creación se hubieran deslizado, de forma voluntaria o involuntaria, características que pudieran dar lugar a comportamientos o resultados generalmente no deseados. Comportamientos o resultados generalmente no deseados, por ejemplo nocivos para la integridad de las personas o las cosas; contrarios al derecho o a otros principios generalmente aceptados y compartidos en la sociedad (equidad, por ejemplo). 

No sólo serían no éticos los artefactos en los que esos vicios se hubieran deslizado en su concepción o ejecución, sino también cuando los vicios se hubieran revelado solo después (el caso del DDT sería paradigmático)[3]. 

En el mundo digitalizado y en proceso acelerado de digitalización en que vivimos, hay una infinidad de sistemas, procedimientos y algoritmos; muchos en aplicaciones que se pueden considerar inocuas; otros en aplicaciones que anticipan dilemas morales.

Piénsese también en tipos de decisiones que pueden plantear dilemas morales, como las que, de seguro, tendrán que enfrentar los vehículos autónomos, por ejemplo, en una emergencia en la que el vehículo deba optar inevitablemente entre siniestros alternativos, a primera vista equiparables. “¿Atropello a la viejecita o al joven CISO que están en mi camino inevitable?”. Son cuestiones conocidas como ‘el dilema del tranvía’[4] [5].

Como productos humanos que tales algoritmos son, están sujetos a errores y también a manipulaciones y vicios intencionados; aparte de la existencia de tantos y tantos productos software sin vulnerabilidades intencionadas o identificadas por sus autores, pero con vulnerabilidades identificadas por terceros y sujetas a exploits (software ad‐hoc para explotar la vulnerabilidad). 

* *

AlgorithWatch (AW) [6] [7] es una iniciativa alemana, sin ánimo de lucro, con la misión de analizar y arrojar luz sobre los procesos de toma de decisiones algorítmicas (ADM – Algorithm Decision Making) que tengan relevancia social.

AW entiende por ADM el proceso que: i) diseña procedimientos de captura de datos; ii) captura los datos; iii) diseña algoritmos para analizar los datos; iv) analiza los datos; v) interpreta los resultados de dicho análisis según un modelo de interpretación definido por personas; y vi) actúa automáticamente según un modelo de actuación definido por personas [8].

Si bien a AW le interesan los procesos ADM con relevancia social —y más abajo daré algunos ejemplos de los que AW considera relevantes—, creo que muchos procesos tan ‘triviales’ como calcular la nómina de un empleado y transferir su importe a un banco, calcular un banco los intereses positivos y negativos de una cuenta y abonarlos / cargarlos automáticamente en la misma, o desviar llamadas de un teléfono a otro, todos ellos son fruto de un proceso ADM.

Su relevancia social, caso de que la hubiera, dependería probablemente de la gravedad de cada perjuicio individual (o del perjuicio medio) y del número de afectados, como he apuntado más arriba.

AW tiene publicado un Manifiesto — The ADM Manifesto (ver Nota 8)— bastante parco, pero potente. Creo que merece la pena transcribirlo:

"La toma de decisiones algorítmica (ADM) [ver más arriba la definición por AW] es un hecho hoy en día; y lo será mucho más mañana. Encierra enormes peligros; y también una enorme promesa. El hecho de que la mayoría de los procedimientos ADM sean cajas negras para las personas a las que afectan no es una ley de la naturaleza. Ha de acabar.

1. ADM nunca es neutral.

2. El creador de ADM es responsable de sus resultados. ADM es creada no solo por su diseñador.

3. ADM ha de ser inteligible para que pueda responder (be held accountable) al control democrático.

4. Las sociedades democráticas tienen el derecho a alcanzar la inteligibilidad (comprensión) de ADM mediante una combinación de tecnologías, regulación, e instituciones de supervisión adecuadas.

5. Hemos de decidir cuánta de nuestra libertad permitiremos asumir a ADM."

En un reciente artículo en la MIT Technology Review[9], el co‐fundador y director ejecutivo de AW, Matthias Spielkamp expone el caso del software COMPAS, usado en EEUU para predecir la probabilidad de reincidencia de criminales.

Según Spielkamp, la ONG ProPublica (ganadora de un premio Pulitzer) estudió 10.000 casos de uso de COMPAS, resultando que tenía una tasa de aciertos similar para blancos y negros, pero en los falsos positivos (predicción de reincidencia equivocada) había una gran asimetría: doble de negros que de blancos.

En el mismo artículo se presentan otros casos de ADM que merecerían ser vigilados, y yo añado algún otro: sistemas de crédito al consumo, selección de personal, concesión de becas, asignación de beneficios sociales (vivienda, ayuda alimentaria o sanitaria), etc. 

Probablemente los ADM son imprescindibles en nuestra sociedad y —como Spielkamp nos recuerda— pueden ser deseables en muchas circunstancias en las que se ha comprobado que los juicios humanos son frecuentemente incorrectos (esto es particularmente cierto cuando se sopesan probabilidades)[10].

La estadística y la investigación operativa (diseño y análisis de experimentos, entre otras técnicas) tienen mucho que ofrecer es este campo. Por ejemplo todo el cuerpo de conocimientos y técnicas ya maduro en ensayos farmacéuticos y en epidemiología.

Cathy O'Neil ha publicado recientemente en The Guardian un excelente artículo, muy documentado, centrado en el Big Data, sobre “cómo lograr que los algoritmos dejen de mentir”[11].

Para la Sra. O’Neil, los ‘malos algoritmos’ caen en una de cuatro categorías de maldad:

1. Los no intencionados, que reflejan sesgos culturales. Por ejemplo, una búsqueda en Google Images de “peinado no profesional” retornaba casi exclusivamente mujeres de color.

2. Los malos por negligencia. Algoritmos que seleccionan candidatos por su CV antes de que una persona haya podido emitir un juicio sobre el CV.

3. Los algoritmos ruines aunque no necesariamente ilegales. Alguna (o mucha) publicidad online.

4. Finalmente, los intencionalmente perversos y/o directamente ilegales. El de Volkswagen defraudando con las pruebas de emisión en millones de vehículos.

* * 

Las soluciones, si las hay, no son fáciles; y menos, inmediatas.

«Ben Shneiderman ... de la Universidad de Maryland, propuso el concepto de una Junta Nacional de Seguridad de Algoritmos».

Quizás cabría pensar también en una certificación de aplicaciones como ‘libres de sesgos’: otro posible frente de actividad para auditores de sistemas de información (CISA). 

* * *

Artículo escrito por Manolo Palao, iTTi 20170613  

Copyright © 2017 Manolo Palao e ITTi. Reservado todos los derechos.  

--------------------------------------

[1] BBC. (2014). Ethics: a general introduction. http://www.bbc.co.uk/ethics/introduction/intro_1.shtml  [URL a 2010613]. 

[2] Un excelente curso, de reputación internacional, tipo mooc (masivo, abierto, online), gratuito introductorio a la filosofía moral y política, es ‘Justice’ (HarvardX ER22.1x ) del Prof. Michael J. Sandel. https://www.edx.org/course/justice‐harvardx‐er22‐1x‐1  [URL a 20170613]. 

[3] Un tratamiento más detallado puede encontrarse en O’Neil. Ver Nota 11. 

[4] Fuente: https://es.wikipedia.org/wiki/Dilema_del_tranv%C3%ADa  [URL a 20170613]. 

[5] Este mismo ejemplo de dilema del tranvía lo he usado recientemente en un artículo, aún sin publicar, titulado “In medio stat virtus”, que novática me ha honrado solicitándomelo. 

[6]  https://algorithmwatch.org/en/  [URL a 20170613].

[7] “AlgorithmWatch is a non‐profit initiative to evaluate and shed light on algorithmic decision making processes that have a social rele‐ vance, meaning they are used either to predict or prescribe human action or to make decisions automatically”. https://algorithmwatch.org/en/algorithm‐watch‐mission‐statement/  [URL a 20170613]. 

[8]  https://algorithmwatch.org/en/the‐adm‐manifesto/  [URL a 20170614].

[9] Spielkamp, M. (12 de junio 2017). “Inspecting Algorithms for Bias”. MIT Technology Review. https://www.technologyreview.com/s/607955/inspecting‐algorit...  [URL a 20170613]. 

[10] Una excelente introducción puede encontrarse en Gilovich, T. (1991). How we know what isn't so. Nueva York. The Free Press. 

[11] O'Neil, C. (16 July 2017). “How can we stop algorithms telling lies?”. theguardian. https://www.theguardian.com/technology/2017/jul/16/how‐can‐we‐stop‐algorithms‐telling‐lies?CMP=share_btn_tw  (URL a 20170922).