La introducción masiva de la IA nos ha empujado a interactuar en piloto automático: respuestas rápidas, sin esfuerzo y, a menudo, sin entendimiento real.
Pero desde el diseño tenemos una responsabilidad ética. Al diseñar un servicio que integra IA, no se trata solo de conseguir realizar las tareas más rápido y con mayor satisfacción, sino de usar la Fricción Estratégica para darle a los humanos la oportunidad de detenerse, cuestionar y ejercer su pensamiento crítico.
Riesgos cognitivos del uso de la IA hacia los humanos que el diseño debe mitigar
En la carrera por la automatización, hemos pasado por alto un efecto secundario crítico: el impacto en la arquitectura mental del usuario. Como diseñadores, nuestra labor necesita encontrar el equilibrio entre «hacer las cosas fáciles» a «mantener al humano capaz».
La implementación de IA no es un problema solo de algoritmos, sino de interacción. Si no diseñamos para mitigar los sesgos cognitivos, corremos el riesgo de crear sistemas que, en lugar de asistir, incapacitan.
Los humanos tenemos determinados sesgos intrínsecos en nuestro procesamiento de la realidad que como diseñadores debemos tener muy presentes para que utilizar la IA no provoque a la larga un efecto contraproducente en los trabajadores.
Sesgo de Automatización: La fe ciega en el dato
Es la tendencia a favorecer las sugerencias de un sistema automatizado incluso cuando contradicen la evidencia o el sentido común.
El Riesgo: El usuario deja de verificar la información, convirtiéndose en un validador pasivo: confirmando en piloto automático.
En trabajos que requieren supervisión humana se requiere que ese humano no esté simplemente delante del algoritmo, sino, como bien dicta la Normativa Europea, AI Act, que active el pensamiento crítico.
Posible mitigación desde el diseño: Los diseñadores deberemos trabajar en la interfaz para que esa supervisión humana sea realmente efectiva gracias a una fricción estratégica desde el diseño. Que desactive el piloto automático mental y active el sistema 2 del cerebro; el del análisis, el del esfuerzo cognitivo; necesitamos añadir un ¡Eh, Atento, Para y analiza! Y deberemos buscar los recursos de diseño necesarios para provocar ese estímulo.
Complacencia Inducida: El peligro del «Todo va bien»
Cuando un sistema es muy fiable pero no perfecto, el humano tiende a relajar su vigilancia. Es la base de muchos accidentes en aviación y vehículos autónomos.
El Riesgo: La pérdida de la conciencia situacional. Si el sistema falla muy pocas veces, el usuario no estará preparado para reaccionar esas pocas veces que existe el fallo.
Posible Mitigación desde el Diseño: Visualización de la Incertidumbre. En lugar de una respuesta binaria, debemos trabajar un diseño que muestren mapas de calor de fiabilidad. Si la IA «duda», el diseño debe hacerlo evidente.
Efecto de Anclaje: El peso de la primera palabra
La primera cifra o sugerencia que da una IA se convierte en un ancla mental. Cualquier ajuste posterior que haga el humano se basará en esa cifra inicial, limitando su capacidad de corrección.
El Riesgo: La IA sesga el rango de soluciones posibles antes de que el humano empiece a pensar.
Posible Mitigación desde el Diseño: Divulgación Retardada. Permite que en algunos casos el profesional tenga que introducir sus hipótesis antes de que la IA muestre su recomendación. Esto preserva la independencia epistémica del trabajador.
Descualificación: La atrofia del experto
Al delegar tareas cognitivas complejas, perdemos la práctica. Con el tiempo, el profesional puede perder la habilidad de realizar la tarea sin la IA o, peor aún, la capacidad de supervisarla.
El Riesgo: Brecha de responsabilidad. Si nadie sabe cómo se llegó a una conclusión, nadie puede hacerse responsable de sus consecuencias.
Mitigación desde el Diseño: Andamiaje y Explicabilidad La interfaz no debe ser una «caja negra». Debe mostrar el proceso que ha seguido la IA para que este proceso sea una oportunidad de aprendizaje, no de sustitución.
En el escenario actual de uso de IA en entornos profesionales, cuando diseñamos un servicio que integra IA, debemos plantearnos no solo la eficiencia de la tarea y la satisfacción momentánea del profesional sino cómo afecta a sus capacidades cognitivas a largo plazo y cómo podemos hacer que estas capacidades se potencien en vez de que disminuyan.
