Pregunta: Sesión interactiva: Gente ¿Dependemos demasiado de las computadoras para que piensen por nosotros? ¿Nuestra dependencia cada vez mayor de las computadoras fomenta la complacencia, suprimiendo nuestra capacidad para ordenar nuestras facultades mentales cuando es necesario? Aunque la informatización sin duda ha mitigado los fallos de funcionamiento, los paros

Sesión interactiva: Gente ¿Dependemos demasiado de las computadoras para que piensen por nosotros?

¿Nuestra dependencia cada vez mayor de las computadoras fomenta la complacencia, suprimiendo nuestra capacidad para ordenar nuestras facultades mentales cuando es necesario? Aunque la informatización sin duda ha mitigado los fallos de funcionamiento, los paros laborales y las averías, ¿estamos perdiendo al mismo tiempo nuestra capacidad para evaluar alternativas de forma independiente y tomar decisiones óptimas?

Al menos un escritor de tecnología está seguro de que esto es exactamente lo que está sucediendo. El libro de Nicholas Carr, The Glass Cage: Automation and Us , expone el caso de que nuestra excesiva confianza en las computadoras ha embotado nuestros reflejos y erosionado la experiencia. Dos fallas cognitivas socavan el rendimiento. La complacencia, el exceso de confianza en la capacidad de la computadora, hace que nuestra atención divague. El sesgo, el exceso de confianza en la precisión de los datos que recibimos de la computadora, hace que ignoremos las fuentes de datos externas, incluidos los estímulos sensoriales en conflicto.

Cuando los pilotos, soldados, médicos o incluso los gerentes de fábrica pierden el enfoque y carecen de conocimiento de la situación, ignoran tanto los datos sospechosos que provienen de la computadora como las señales externas que los refutarían. Los resultados pueden ser catastróficos. En dos casos en 2009, los pilotos de aviones comerciales malinterpretaron las señales cuando los controles de su piloto automático se desconectaron después de recibir advertencias de que la aeronave se detendría. En lugar de empujar el yugo hacia adelante para ganar velocidad, ambos pilotos prestaron atención a los datos defectuosos del panel de control mientras ignoraban las señales ambientales y tiraron del yugo hacia atrás, levantando la nariz del avión y disminuyendo la velocidad del aire, exactamente lo contrario de lo que se requería. La pérdida de automatización provocó confusión y pánico. La experiencia de vuelo práctica muy restringida (en un vuelo típico de pasajeros hoy en día, un piloto humano maneja los controles durante solo tres minutos) resultó en que el avión se detuvo y cayó a tierra. Cincuenta murieron en Buffalo, Nueva York; 228 perecieron en el Océano Atlántico en ruta a París desde Río de Janeiro. La Administración Federal de Aviación (FAA) ahora está presionando a las aerolíneas para que adopten requisitos más estrictos para las horas de vuelo manual para compensar los riesgos que plantean la autocomplacencia y el sesgo.

Los críticos de Carr señalan que los viajes aéreos ahora son más seguros que nunca, con accidentes y muertes disminuyendo constantemente durante décadas y accidentes aéreos fatales extremadamente raros. Carr reconoce este punto, pero aún le preocupa que los pilotos hayan llegado a depender tanto de las computadoras que se están olvidando de cómo volar. Andrew McAfee, investigador de la Sloan School of Management del MIT, señala que la gente ha lamentado la pérdida de habilidades debido a la tecnología durante muchos siglos, pero en general, la automatización ha mejorado la situación del mundo. Puede haber un accidente de alto perfil, pero él cree que una mayor automatización, no menos, es la solución.

Aunque históricamente los humanos han creído que asignar tareas a las máquinas nos libera de lo mundano y nos permite perseguir lo extraordinario, las computadoras han dado paso a una era completamente diferente. La compilación masiva de datos y las capacidades analíticas complejas ahora significan que la toma de decisiones, hasta ahora competencia exclusiva del cerebro humano, se lleva a cabo cada vez más mediante computadoras. La descarga de tareas a las computadoras nos libera del pensamiento complejo y nos obliga a realizar tareas mundanas como ingresar datos, observar la salida y esperar distraídamente la falla del equipo.

Los errores inducidos por la complacencia y el sesgo se están acumulando. Por ejemplo, los programas de computadora ahora resaltan los puntos sospechosos en las mamografías. Con la compulsión de examinar imágenes escrupulosamente aliviadas, los radiólogos ahora están pasando por alto algunos tumores en etapa temprana que el programa no marca. Investigadores australianos descubrieron que los contadores de dos firmas internacionales que usaban software de auditoría avanzado tenían una comprensión significativamente más débil de los diferentes tipos de riesgo que los de una firma que usaba un software más simple que les obligaba a tomar decisiones de evaluación de riesgos por sí mismos. Incluso las tareas más rudimentarias, como la edición y la revisión ortográfica, ahora se realizan de forma diferente. En lugar de participar activamente, somos observadores, esperando que nos digan que corrijamos un error. ¿Merecen la pena estas eficiencias a corto plazo frente a la pérdida de conocimientos y experiencia a largo plazo?

Lo que es más, los programas de software están cargando con cada vez más capacidades que hasta ahora se consideraban dominio exclusivo del cerebro humano. La evaluación sensorial, la conciencia ambiental, el movimiento coordinado y el conocimiento conceptual se incluyen en la programación que ha permitido a Google comenzar a probar sus autos sin conductor en la vía pública. Algunos argumentan que esta es precisamente la dirección en la que deberíamos ir: computadoras autónomas sin supervisión o intervención humana en absoluto. ¿La solución al error del piloto durante las fallas de automatización? Un piloto automático totalmente autónomo. ¿La solución a la disminución de las habilidades de diagnóstico de los médicos debido a la autocomplacencia y el sesgo? Eliminar a los médicos de la ecuación por completo.

Carr ve dos problemas con este pensamiento. Primero, los sistemas informáticos complejos requieren interdependencias complejas entre bases de datos, algoritmos, sensores, software y hardware. Cuantos más elementos mutuamente dependientes haya en un sistema, mayores serán los puntos potenciales de falla y más difíciles de encontrar. En segundo lugar, sabemos desde hace más de tres décadas que los humanos son espectacularmente malos precisamente en el trabajo que les ha relegado el aumento de la informatización: la observación pasiva. Cuando no estamos activamente comprometidos, nuestras mentes tienden a desviarse hacia cualquier tema que no sea el que se supone que debemos monitorear. Es más, dado que ahora sabemos que "úsalo o piérdelo" se aplica a volar aviones, diagnosticar enfermedades, revisar la ortografía y todo lo demás, restringir a los humanos a la observación reduce a los expertos a novatos, lo que aumenta el riesgo de respuestas inadecuadas a las fallas.

Una solución es diseñar programas que promuevan el compromiso y el aprendizaje, por ejemplo, devolviendo el control al operador a intervalos frecuentes, pero irregulares, o asegurando que se incluyan tareas desafiantes. Si los operadores deben realizar y repetir tareas manuales y mentales complejas, se reforzará el efecto de generación. Desafortunadamente, la introducción de estos cambios incluye necesariamente la ralentización del software y la disminución de la productividad. Es poco probable que las empresas valoren la preservación y el desarrollo de la experiencia a largo plazo por encima de las ganancias a corto plazo. ¿A quién beneficia esta tecnología a largo plazo?

Preguntas de estudio de caso

Identifique el problema descrito en este estudio de caso. ¿En qué sentido es un dilema ético?

¿Deberían automatizarse más tareas? ¿Por qué o por qué no? Explica tu respuesta.

¿Se puede resolver el problema de la automatización que reduce las habilidades cognitivas? Explica tu respuesta.