Consentimiento algorítmico: ¿aceptaría usted que un algoritmo decida su subsidio?
El Estado ya usa modelos para priorizar beneficiarios, asignar recursos y evaluar riesgo social. Pero el ciudadano no sabe qué datos pesaron, qué criterios se usaron ni cómo reclamar si el resultado es injusto. Eso tiene un nombre: opacidad decisional. Y es incompatible con la democracia.
En algún lugar del aparato estatal, un modelo calcula un puntaje. Ese puntaje determina si una familia accede a un subsidio, si un contribuyente es seleccionado para fiscalización, si un proveedor califica para un contrato, si una solicitud se prioriza o se pone al final de la cola. El ciudadano que está al otro lado de esa decisión no sabe que un algoritmo participó. No sabe qué variables pesaron. No sabe si hay un sesgo que lo perjudica. Y si el resultado le parece injusto, no tiene a quién reclamarle — porque no existe un mecanismo de apelación diseñado para decisiones algorítmicas.
Esto no es ciencia ficción. Es la operación cotidiana de sistemas que ya existen en Chile y en toda América Latina: registros sociales que puntúan hogares, modelos tributarios que seleccionan contribuyentes para auditoría, herramientas de scoring que evalúan proveedores. El denominador común es que fueron diseñados desde la eficiencia institucional — no desde el derecho del ciudadano a entender qué le pasó y por qué.
Lo que el ciudadano no sabe (y debería)
Cuando un funcionario toma una decisión administrativa, el derecho administrativo exige motivación: explicar los fundamentos de hecho y de derecho que sostienen esa decisión. El ciudadano puede leer la resolución, entender el razonamiento y, si no está de acuerdo, impugnarla. Es un principio básico del Estado de derecho.
Cuando un algoritmo produce un puntaje que alimenta esa misma decisión, la cadena se rompe. El modelo opera con variables que el ciudadano desconoce. Los pesos de esas variables son opacos — a veces incluso para quienes operan el sistema. Y la resolución administrativa que llega al ciudadano puede decir "no califica" sin explicar que un modelo de scoring fue el insumo determinante. La motivación formal se cumple; la motivación real se esconde detrás de una caja negra.
Caso Robodebt, Australia
Un sistema algorítmico emitió miles de avisos de deuda incorrectos a personas vulnerables. Operó durante años antes de que los recursos legales revelaran sus fallos. Resultado: un acuerdo judicial de AU$1.800 millones y un daño institucional que tardará décadas en repararse.
En Idaho, un sistema de Medicaid calculó presupuestos para personas con discapacidad. Algunas que habían desarrollado necesidades más graves vieron sus presupuestos reducidos — sin explicación ni justificación.
No son excepciones. Son el patrón previsible de lo que ocurre cuando se automatiza sin gobernar.
El problema no es el algoritmo. Es la ausencia de derechos frente a él.
El debate público sobre IA y gobierno tiende a centrarse en la tecnología: ¿es precisa? ¿tiene sesgos? ¿es explicable? Son preguntas necesarias. Pero hay una pregunta anterior que rara vez se hace: ¿tiene el ciudadano algún derecho frente a una decisión algorítmica?
En la Unión Europea, la respuesta es sí. El GDPR otorga el derecho a no ser objeto de decisiones basadas exclusivamente en tratamiento automatizado. El EU AI Act clasifica los sistemas de IA usados en acceso a servicios públicos como "alto riesgo" y exige transparencia, supervisión humana y evaluaciones de impacto.
En Chile — y en la mayoría de América Latina — ese piso no existe. La Ley 21.719 de protección de datos establece derechos sobre los datos, pero no aborda específicamente las decisiones automatizadas. El proyecto de ley de IA no articula qué derechos tiene el ciudadano cuando un algoritmo participa en una decisión que lo afecta.
El resultado es una asimetría radical: el Estado tiene más datos, más capacidad de procesamiento y más poder decisional que nunca. El ciudadano tiene la misma capacidad de impugnación que tenía antes de que existiera la IA. Esa brecha no es técnica — es democrática.
Cuatro derechos mínimos que deberían existir
Derecho a saber
Si un algoritmo participó en una decisión que te afecta, deberías saberlo. No el código fuente — pero sí que la decisión fue asistida por un sistema automatizado.
Derecho a una explicación comprensible
No técnica — comprensible. Si un modelo determinó tu puntaje, deberías poder entender qué variables pesaron y verificar si la información era correcta.
Derecho a corregir
Si el modelo usó datos incorrectos — dirección desactualizada, ingreso mal registrado — deberías poder corregirlo y obtener una reevaluación.
Derecho a impugnar
Un recurso que obligue al organismo a revisar la decisión y explicar cómo el modelo llegó a ese resultado. No simplemente "vuelva a postular".
La trampa de la eficiencia
Hay un argumento recurrente: los algoritmos son más objetivos que los humanos. Eliminan la arbitrariedad, reducen la discrecionalidad, aseguran consistencia. Y hay verdad en eso — un modelo aplica los mismos criterios a todos.
Pero esa objetividad es engañosa. Un modelo puede ser consistente y sesgado al mismo tiempo. Puede aplicar los mismos criterios a todos y que esos criterios sean injustos — porque los datos históricos con los que fue entrenado reflejan desigualdades que el modelo perpetúa. Si el algoritmo aprende de un mundo desigual, reproduce ese mundo con eficiencia matemática.
La eficiencia sin equidad no es un logro — es automatización de la injusticia. Y la equidad requiere, como mínimo, que alguien pueda preguntar: ¿por qué me tocó esto a mí?
Una propuesta concreta
Chile podría avanzar sin esperar legislación completa. Tres medidas serían suficientes para cambiar la relación entre algoritmos y ciudadanos.
Qué organismos usan modelos automatizados para decisiones que afectan a personas, qué tipo de decisiones, con qué datos. No el código — el inventario. Varios países europeos ya lo hacen. Es transparencia básica.
Cuando un sistema automatizado participa en una decisión, la notificación debe indicarlo. Una línea: "Esta decisión fue asistida por un sistema automatizado. Usted tiene derecho a solicitar una revisión." Eso es todo. Pero cambia la dinámica.
No el mismo conducto regular de reclamos — un mecanismo que obligue al organismo a explicar el rol del algoritmo en la decisión y a verificar que los datos del ciudadano eran correctos.
Ninguna de estas medidas requiere ley nueva. Pueden implementarse por instrucción administrativa. Lo que requieren es voluntad de reconocer que cuando el Estado automatiza decisiones, los derechos de las personas no se automatizan con ellas.