Resumen

Una cuestión es cómo gobernar los algoritmos y otra bien distinta es si los algoritmos llegarán un día a gobernarnos. Tenemos que examinar las expectativas de la gobernanza algorítmica y sus límites. No parece que los algoritmos puedan hacerse cargo de todo el proceso político, con la eficacia que prometen y con la legitimidad que debería justificar ese nuevo régimen.

De la burocracia a la gobernanza algorítmica

En cuanto una comunidad política alcanza un cierto nivel de complejidad aparece la necesidad de objetivar y automatizar las decisiones colectivas. A partir del momento en el que el número de actores y factores que intervienen sobrepasa las capacidades individuales y centralizadas, las decisiones se vuelven más procedimentales y menos carismáticas.

Cuando se plantea una incompatibilidad entre decisiones estandarizadas del tipo que sea y consideraciones humanistas, no hay que olvidar que estos procedimientos se inventaron precisamente para minimizar la intervención humana en la toma de decisiones. Porter denominó culto a la impersonalidad a aquella cultura de la cuantificación en la que se aspira a reducir el elemento humano todo cuanto sea posible: principios formalizables frente a la interpretación subjetiva, estándares unitarios en lugar de caos metodológico y dominio del derecho en vez de poder humano. En este nuevo continente de la objetividad reinarían una objetividad mecánica y una ciencia desinteresada que dejarían fuera todo lo que sea personal, indiosincrático o perspectivista; ya no se confía en la integridad de los que dicen la verdad o en el prestigio de instituciones ejemplares sino en procedimientos fuertemente estandarizados (Porter, 1995). La fórmula más radical para expresarlo podría ser esta: «En vez de libertad de la voluntad, las máquinas ofrecerían liberarse de la voluntad» (Daston y Galison, 2010, p. 49). Esa esperanza hacia los datos y la objetividad aumenta en una cultura política y social caracterizada por la desconfianza, las crisis y la incertidumbre; el recurso a una cierta objetividad beneficia tanto a gobernantes como a gobernados, protege a quienes toman decisiones y genera confianza en quienes son afectados por estas.

La era digital ha acentuado esta vieja tendencia. Gobernar es ya en gran medida —y lo será aún más— un acto algorítmico; una buena parte de las decisiones de gobierno son adoptadas por sistemas automatizados. Esta manera de gobernar ha sido definida de diversas maneras: «el poder está cada vez más en el algoritmo» (Lash, 2007, p. 71); «la autoridad se expresa cada vez más algorítmicamente» (Pasquale, 2015, p. 1).

El recurso a algoritmos y decisiones automatizadas responde a la necesidad de hacer frente a diversas formas de complejidad, como la identificación de las distintas perspectivas e intereses de una sociedad cada vez más plural o la eficiente provisión de servicios públicos. La gobernanza algorítmica potencia enormemente las capacidades de gestión a través de grandes cantidades de datos y en relación con problemas complejos. De este modo, no solo el mundo parece habérsenos hecho más legible, sino que se han abierto nuevas posibilidades de intervención política, una mayor eficiencia, una más inteligente regulación y una más temprana anticipación de determinados problemas. Se promete así una acción de gobierno que reduciría la complejidad de los fenómenos sociales a una medida aceptable.

El incremento de sistemas de decisión conducidos por algoritmos y datos significa que las máquinas apoyan a los humanos en sus decisiones e incluso los sustituyen, en parte o completamente. La cuestión que todo esto plantea es hasta qué punto y de qué modo la utilización de sistemas de decisión automatizada (ADS) es compatible con lo que consideramos un sistema político de toma de decisiones. De la democracia se espera que responda a la expectativa de ser un verdadero autogobierno del pueblo y, al mismo tiempo, que el sistema político resuelva eficazmente los problemas de la sociedad.

Expectativas de la gobernanza algorítmica

Los algoritmos realizan una doble promesa de objetividad y subjetividad, es decir, de neutralidad ideológica y, al mismo tiempo, de respeto absoluto a nuestros deseos. Se trata de dos promesas que tienen unos efectos muy beneficiosos sobre la política democrática, pues permiten una valoración más objetiva de las políticas públicas y un mejor conocimiento de las preferencias sociales, pero que también tienen sus límites e inconvenientes.

a. La promesa de objetividad

Resulta muy seductora la promesa de la decisión algorítmica: no se trata de ahorrar tiempo y dinero, sino de promover la objetividad. Los algoritmos suelen percibirse como objetivos y sus evaluaciones como justas, precisas y libres de subjetividad, errores y pretensiones de poder; es más, su objetividad es lo que les proporciona legitimación como mediadores de conocimiento relevante; no son solo instrumentos para decidir, sino también estabilizadores de la confianza; aseguran que «las valoraciones son precisas y justas, sin fallos, subjetividad o distorsiones» (Gillespie, 2014, p. 79). La puesta en marcha de ADS se justifica porque con su ayuda las decisiones no son solo más eficientes sino también menos partidistas y más justas. Tendríamos unos instrumentos que parecen satisfacer la esperanza de proporcionar una mayor racionalidad a los procesos de decisión y contrarrestar la subjetividad y los prejuicios ideológicos o de cualquier tipo que suelen motivar muchas de las decisiones humanas.

Esta pretensión no es del todo nueva, al igual que tampoco lo es su crítica. La idea de autoridad burocrática de Weber ya había ensalzado los valores de eficiencia y objetividad, pero también había advertido de sus límites, así como de que otro tipo de autoridades podían surgir precisamente en virtud del ideal de objetividad. En principio, todas las tendencias patológicas de las clásicas burocracias se aplican también a las decisiones automatizadas. Desde que se formularon las pretensiones de objetividad, en el entorno burocrático y en la era digital, no ha dejado de advertirse que tales procedimientos no cumplen esa promesa, que generan otro tipo de distorsiones, que no están exentas de arbitrariedad y que los algoritmos a menudo reflejan e incluso potencian los prejuicios que están profundamente asentados en una sociedad.

b. La promesa de subjetividad

El segundo vector de democratización vendría del conocimiento de la voluntad real de la gente a la que un gobierno democrático debe servir; se reforzaría así la cadena de legitimación en la medida en que permitiría tomar como punto de partida las decisiones reales de las personas únicamente a partir de las cuales se puede configurar la voluntad popular. Con un mundo lleno de sensores, algoritmos, datos y objetos inteligentes se configura una suerte de sensorium social que permite personalizar la salud, los transportes o la energía. Gracias a la ingeniería de los datos nos estamos moviendo hacia una comprensión cada vez más granular de las interacciones individuales y unos sistemas más capaces de responder a las necesidades individuales. En virtud de la microsegmentación y granularidad, podemos disponer de una sociedad algorithmically attuned, de manera que los deseos que la ciudadanía expresa de hecho en su comportamiento cotidiano pueden ser conocidos con un altísimo grado de exactitud. A la objetividad de los métodos de gobernanza algorítmica le correspondería una mayor subjetividad en sus destinatarios, que verían así mejor conocida, respetada y satisfecha su particularidad.

El cómodo paternalismo de las sociedades algorítmicas consiste en que da a las personas lo que estas quieren, que gobierna con incentivos proporcionados, que se adelanta, invita y sugiere. Trasladar este modelo a la política no tendría mayores problemas si no fuera porque el precio de estas prestaciones suele ser el sacrificio de alguna esfera de libertad personal. Teniendo en cuenta que hay una discrepancia en la autodeterminación que supuestamente exigimos y la que de hecho estamos dispuestos a ejercer cuando hay comodidades y prestaciones de por medio, el resultado es que la satisfacción de necesidades se hace con frecuencia a cambio de espacios de libertad. Es cierto que así se satisfacen muchos de nuestros deseos, pero a cambio de una cierta renuncia a reflexionar sobre ellos; lo que queremos se sitúa por encima de lo que queremos querer y la voluntad mínima e implícita del consumidor sustituye a la voluntad política explícita.

Limitaciones de la gobernanza algorítmica

La gobernanza algorítmica es muy adecuada para mejorar ciertos aspectos del proceso político, pero resulta de escasa utilidad para otros; puede corregir deficiencias y sesgos humanos, sirve para identificar determinadas preferencias, para medir los impactos, pero es inadecuada para aquellas dimensiones del proceso político que no son susceptibles de computación y optimización, áreas que no tienen una fácil cuantificación y medida, o sea, para el momento genuinamente democrático en el que se deciden los criterios y objetivos que posteriormente la tecnología puede optimizar.

La razón de que los algoritmos sean políticamente limitados reside en su carácter instrumental. Los algoritmos sirven para conseguir objetivos predeterminados, pero ayudan poco a determinar esos objetivos, tarea propia de la voluntad política, de la reflexión y deliberación democrática. La función de la política es decidir el diseño de las estrategias de optimización algorítmica y mantener siempre la posibilidad de alterarlas, especialmente en entornos cambiantes. En una democracia todo debe estar abierto a momentos de repolitización, es decir, a la posibilidad de cuestionar los objetivos establecidos, las prioridades y los medios. Para esto es para lo que sirve la política y para lo que no sirven los algoritmos. El gobierno algorítmicamente optimizado no tiene capacidad para resolver los conflictos propiamente políticos o la dimensión política de esos conflictos, es decir, cuando están en cuestión los marcos, fines o valores. Como decía Lucy Suchman en otro contexto, los robots actúan muy bien cuando el mundo ha sido dispuesto del modo en que debía ser dispuesto (Suchman, 2007).

Puede ilustrar esta dualidad de fines y medios, de objetivos políticos y estrategias de optimización algorítmica, el sistema de distribución de los alumnos que se puso en marcha para las escuelas de la ciudad de Nueva York y el debate correspondiente acerca de qué valores priorizar en esa distribución (Krüger y Lischka, 2018). El sistema puede priorizar la satisfacción al máximo de las preferencias individuales o una mezcla social equilibrada en las escuelas. Ambos objetivos cuentan con buenas razones a su favor; una opción favorece los deseos individuales, y la otra, la cohesión social. También es discutible, si se quiere respetar al mismo tiempo los dos valores, qué grado de compromiso o equilibrio entre ellos parece más deseable y realizable. Para decidirlo hace falta un debate político acerca de valores e implicar principalmente a los afectados, un debate del que no puede exonerarnos un algoritmo.

En este y otros casos, no se trata solo de implementación o transparencia de los algoritmos utilizados, sino de juicios de valor en torno a las posibilidades alternativas de definir los objetivos de la educación, que son diversos y en parte concurrentes, como corresponde a una sociedad pluralista. Los procesos de negociación política tienen prioridad sobre las soluciones técnicas, y estas no pueden sustituir a aquellos. Estamos, por tanto, ante ese tipo de asuntos que denominamos cuestiones políticas.

En sentido estricto, cuestiones políticas son aquellas que solo se pueden resolver con juicios de valor; las otras son aquellas cuestiones técnicas en las que se decide la implementación técnica de los objetivos pretendidos y sobre la base del saber disponible. En ocasiones también es algo políticamente controvertido qué clase de optimización es satisfactoria y qué saber consideramos relevante. Podría incluso afirmarse que, si la optimación como principio es algo deseable, la ideología de la optimización (pensar que la implementación eficaz de ciertos objetivos puede hacer innecesaria la discusión política acerca de tales objetivos) puede ser una estrategia de despolitización.

La gobernanza algorítmica se orienta a realizar objetivos que no han sido discutidos, que ella misma no establece ni pone en cuestión. Ahora bien, la política democrática no es un mero procesamiento de información sino su interpretación en un contexto de pluralismo garantizado; no se trata de cómo realizar mejor ciertos objetivos sino de cómo decidirlos. Lo político empieza allí donde se ha de debatir acerca de qué deben satisfacer los algoritmos, qué valores deben cumplir, a qué concepción de lo justo ha de servir. Podría formularse esta idea recordando aquella afirmación de John von Neumann: podemos construir un instrumento capaz de hacer todo lo que puede ser hecho, pero no se puede construir un instrumento que nos diga si algo es factible (Neumann, 1966, p. 51). Dicho de otra manera: la decisión acerca de qué es computarizable no se puede a su vez computarizar.

Como ocurre en la política en general, también cuando hablamos de gobernanza algorítmica la idea de producir mejores decisiones con la ayuda de máquinas requiere que haya previamente un criterio acerca de qué es una buena decisión. Los artefactos que se encargan de optimizar las decisiones no hacen innecesaria la discusión acerca de qué es una buena decisión. Es cierto que la inteligencia artificial sirve para informar decisiones y optimizar resultados, pero, aunque algunos economistas hayan intentado cuantificar y medir el bienestar agregado, no hay una noción predefinida e incontestable de qué es un resultado satisfactorio en política.

La gran promesa de la gobernanza algorítmica es que unos resultados óptimos nos hagan olvidar los procedimientos deseables. Es un tipo de gobernanza que parece preferir la efectividad aunque sea al precio de ser excluidos de la toma de decisiones o reducidos a una presencia mínima, implícita e individual, bajo la forma de requerimientos y preferencias presentes en nuestras huellas digitales. Pero si la ciudadanía no puede supervisar ni controlar de algún modo las decisiones algorítmicas, no podemos llamar a eso autogobierno del pueblo.

La inevitabilidad de decidir

El gran desafío que nos plantea la era digital es el de resistir a los encantos de la despolitización de nuestras sociedades y superar la inercia de los modos de gobierno tradicionales, no dejarse seducir por el discurso falsamente apolítico o posideológico, pero al mismo tiempo dejar de insistir en unas prácticas que no se corresponden en absoluto con las nuevas realidades sociales. Estamos ante un intento de concebir la sociedad de un modo despolitizado.

Las sociedades contemporáneas necesitan una enorme movilización cognitiva para hacer frente a los problemas que deben resolver, pero el argumento último a favor de la democracia no es epistémico sino decisional. Hay que hacer todo lo posible para que las sociedades tomen las mejores decisiones, pero la legitimidad final no procede de la corrección de sus decisiones sino del poder de decisión que tiene la ciudadanía con independencia del buen o mal uso que haga de este poder. Una democracia produce mejores decisiones que sus modelos alternativos, pero no debe su legitimidad última a la bondad de sus decisiones sino a la autorización popular que está detrás de esas decisiones. La inevitabilidad de decidir es la justificación definitiva de que la democracia sea una forma de gobierno donde los legos tienen la última palabra sobre los expertos. No parece que haya hoy por hoy un dispositivo tecnológico que nos libere completamente de esta necesidad de decidir.

La legitimidad final [de las sociedades] no procede de la corrección de sus decisiones sino del poder de decisión que tiene la ciudadanía con independencia del buen o mal uso que haga de este poder.

Los procedimientos de la inteligencia artificial no pueden exonerarnos de esa decisión. Hay política allí donde, pese a toda la sofisticación de los cálculos, nos vemos finalmente obligados a tomar una decisión que no está precedida por razones abrumadoras ni conducida por unas tecnologías infalibles. Un mundo humano tiene que ser un mundo negociable.

Referencias

Daston, L., y Galison, P. (2010). Objectivity. Princeton University Press.

Gillespie, T. (2014). The Relevance of Algorithms. En T. Gillespie, P. J. Boczkowski y K. A. Foot. (eds.), Media Technologies: Essays on Communication, Materiality, and Society (pp. 167-193) Cambridge: The MIT Press.

Krüger, J., y Lischka, K. (2018). Was zu tun ist, damit Maschinen den Menschen dienen. En R. Mohabbat Kar, B. Thapa y P. Parycek. (eds.), (Un)berechenbar? Algorithmen und Automatisierung in Staat und Gesellschaft (pp. 440-470). Berlín: Fraunhofer-Institut für Offene Kommunikationssysteme FOKUS.

Lash, S. (2007). Power after hegemony. Theory, Culture & Society, 24(3), 55-78.

Neumann, J. von (1966). Theory of Self-Reproducing Automata. Urbana: University of Illinois Press.

Pasquale, F. (2015). The Black Box Society: The Secret Algorithms that Control Money and Information. Cambridge: Harvard University Press.

Porter, T. (1995). Trust in numbers: The pursuit of objectivity in science and public life. Princeton University Press.

Suchman, L. (2007). Human-Machine Reconfigurations: Plans and Situated Actions, Cambridge University Press

Únete a nuestro newsletter