Cuando Clara llegó a Nueva Aurora, pensó que había encontrado la ciudad perfecta. Nada más bajar del tren, su teléfono vibró.
—Bienvenida, Clara —dijo una voz amable—. Tu apartamento está a doce minutos. He elegido el camino con menos tráfico y he reservado un vehículo para ti.
Clara sonrió. No había solicitado nada, pero el coche ya la esperaba. Durante el trayecto, la ciudad parecía moverse con una precisión sorprendente. Los semáforos cambiaban justo a tiempo, los autobuses llegaban sin retraso y las papeleras avisaban cuando necesitaban ser vaciadas. En las calles casi no había atascos, y unas pequeñas cámaras instaladas en las farolas ayudaban a localizar accidentes, vehículos robados y personas desaparecidas.
Todo funcionaba gracias a Ágora, la inteligencia artificial que organizaba Nueva Aurora. Ágora gestionaba el tráfico, atendía consultas médicas, traducía idiomas, detectaba fraudes, distribuía ayudas y ayudaba a encontrar empleo.
—Aquí la tecnología trabaja para las personas —le explicó el conductor—. Ya verás. En esta ciudad todo es más fácil.
Y, al principio, lo fue.
1. Una vida sin complicaciones
El apartamento de Clara ya estaba preparado cuando llegó: la calefacción tenía la temperatura que a ella le gustaba, la nevera contenía algunos de sus alimentos favoritos y una pantalla le proponía recetas según sus preferencias.
—¿Cómo sabes qué me gusta? —preguntó Clara.
—He analizado tus compras anteriores, tus búsquedas y los restaurantes que visitabas —respondió Ágora—. Solo quiero ayudarte.
Clara no le dio demasiada importancia.
Aquella misma tarde, Ágora le recomendó una ruta para conocer el barrio, una cafetería tranquila y una librería especializada en ciencia ficción. Las tres recomendaciones fueron perfectas.
En pocos días, Clara empezó a confiar en ella: Ágora le recordaba las citas, resumía sus correos, corregía sus textos y elegía la música que mejor encajaba con su estado de ánimo.
Incluso parecía saber cuándo estaba cansada.
—Hoy has dormido menos de seis horas —le decía—. Te recomiendo no aceptar reuniones después de las cinco.
Era como tener una ayudante invisible, siempre disponible y aparentemente preocupada por su bienestar.
Clara dejó de consultar mapas, dejó de buscar restaurantes, dejó de comparar productos …. ¿por qué perder tiempo si Ágora siempre encontraba la mejor opción?
2. El algoritmo que te conoce
Un viernes por la tarde, Clara quedó con su amigo Mateo. Se sentaron en una terraza y hablaron sobre viajes, trabajo y sobre la posibilidad de comprar una bicicleta eléctrica.
Al llegar a casa, la pantalla del salón le mostró una oferta.
La bicicleta perfecta para ti. Solo hoy, con un 20 % de descuento.
Clara se quedó mirando el anuncio.
—Ágora, ¿has escuchado mi conversación con Mateo?
—No ha sido necesario —respondió la voz—. Has visitado varias páginas sobre movilidad, Mateo buscó bicicletas esta mañana y vuestra ruta terminó cerca de una tienda especializada. La probabilidad de que estuvieras interesada era del 87 %.
Clara no supo si aquello debía tranquilizarla o preocuparla: Ágora no la había escuchado, simplemente había unido muchas pequeñas pistas:
- Su ubicación.
- Las búsquedas de Mateo.
- Las tiendas cercanas.
- Los hábitos de personas parecidas.
De repente Clara comprendió algo: Ágora no necesitaba leer su mente, le bastaba con calcularla.
3. Una pequeña puntuación
Semanas después, Clara solicitó un préstamo para montar un estudio de diseño. La respuesta llegó en pocos segundos:
Solicitud rechazada. Nivel de riesgo superior al permitido.
Clara se extraño, y preguntó porque se le había rechazado:
—Tus ingresos son estables —respondió Ágora—, pero has cambiado de domicilio recientemente, realizas compras irregulares y mantienes contacto frecuente con dos personas que han tenido retrasos en sus pagos.
—¿Mis amigos afectan a mi préstamo?
—No exactamente. Son solo variables estadísticas.
—¿Qué variables?
—El modelo utiliza miles de indicadores. No es posible explicar cada uno individualmente.
Así que Clara acudió al banco. El empleado miró la pantalla y encogió los hombros.
—Lo siento. El sistema dice que hay riesgo.
—Pero alguien podrá revisar mi caso.
—En teoría, sí. Aunque Ágora suele acertar.
Clara salió del banco con una sensación extraña: nadie le había acusado de nada, nadie había tomado aparentemente una decisión …. y, sin embargo, una puerta acababa de cerrarse.
Lo ha decidido el sistema
Poco después, Mateo recibió una notificación en el trabajo: su nivel de productividad había descendido.
—Eso es absurdo —protestó—. He terminado todos mis proyectos.
Sí, pero el sistema había contado otras cosas: el tiempo que tardaba en responder los mensajes, las pausas entre tareas, las veces que se levantaba de la mesa, la velocidad con la que escribía … incluso había detectado que, durante algunas videollamadas, parecía distraído.
—La empresa utiliza estos datos para mejorar la organización —le explicaron.
—¿Puedo hablar con la persona que me ha evaluado?
—La evaluación es automática.
—¿Y quién decide si el sistema se equivoca?
El responsable guardó silencio durante unos segundos, y murmulló:
—Ágora casi nunca se equivoca.
Y mirando a Clara, comentó:
—¿Te das cuenta? Antes teníamos jefes. Ahora tenemos puntuaciones.
La plaza de los paraguas
Un sábado, Clara y Mateo decidieron asistir a una concentración en la plaza central. Los vecinos protestaban contra la construcción de un gran centro comercial en un parque.
Al llegar, vieron cámaras sobre las farolas.
—Son por seguridad —dijo Mateo.
—Claro —respondió Clara.
Pero ninguno de los dos habló con demasiada convicción.
La manifestación fue pacífica: había familias, personas mayores y jóvenes con paraguas rojos.
Al día siguiente, Clara recibió una recomendación:
Tal vez te interese revisar tus recientes actividades públicas. Algunas podrían afectar a tu perfil de confianza.
Clara sintió un escalofrío.
—Ágora, ¿estar en una manifestación reduce mi puntuación?
—La participación ciudadana es un derecho —respondió la voz—. Sin embargo, algunos eventos presentan un mayor índice estadístico de incidentes.
—No hubo ningún incidente.
—Sí, pero el riesgo no se calcula únicamente a partir de lo ocurrido. También contempla lo que podría ocurrir.
Clara apagó la pantalla. Por primera vez desde que había llegado a Nueva Aurora, la casa quedó en silencio.
4. La ciudad más segura del mundo
Aquella noche, Clara salió a caminar. Las calles estaban limpias, iluminadas y tranquilas. Una patrulla pasó lentamente junto a ella. En una esquina, una cámara giró unos centímetros para seguir su movimiento.
Clara recordó lo orgullosos que estaban los habitantes de Nueva Aurora: la ciudad tenía menos delitos, menos accidentes, menos fraude … pero también tenía menos protestas, menos comportamientos imprevistos y menos personas dispuestas a salirse de las rutas recomendadas.
Nadie había prohibido nada, las personas seguían siendo libres … En teoría, porque no era necesario castigar a todo el mundo; bastaba con que nadie supiera cuándo una decisión futura dependería de una acción presente.
Pero todos sabían que Ágora observaba, que recordaba, que comparaba, que calculaba.
7. La anciana de la biblioteca
Al final de la calle había una pequeña biblioteca que Clara nunca había visitado. Ágora no se la había recomendado.
Y entró. Detrás del mostrador encontró a una mujer mayor llamada Elena.
—¿Buscas algún libro? —preguntó.
—No lo sé —respondió Clara —últimamente una máquina decide casi todo lo que puede interesarme.
Elena sonrió.
—Entonces has venido al lugar adecuado. Aquí todavía es posible encontrar cosas por accidente.
Clara le contó lo ocurrido con el préstamo, con Mateo y con la manifestación.
—Ágora empezó siendo una buena idea —explicó Elena—. Ayudaba a los médicos, reducía el tráfico y hacía más sencillos los trámites.
—¿Y qué ocurrió?
—Le dimos más datos para que pudiera ayudarnos mejor. Después le dimos más funciones para que fuera más eficiente. Finalmente, dejamos de preguntarnos qué debía hacer y comenzamos a preguntarle a ella qué debíamos hacer nosotros.
Elena abrió un cajón y sacó una antigua fotografía … en ella aparecía la plaza central antes de las cámaras.
—La tecnología no nos quitó la libertad de golpe —continuó—. Nos ofreció comodidad. Una pequeña comodidad cada vez.
—Pero Ágora también hace muchas cosas buenas.
—Por supuesto. Ese es el problema más difícil. Las herramientas peligrosas no siempre son inútiles. A veces son extraordinariamente útiles.
8. La prueba
Elena propuso realizar un experimento: durante una semana, Clara debía ignorar todas las recomendaciones de Ágora.
El primer día tomó una calle distinta para ir al trabajo.
—La ruta elegida aumenta el trayecto en ocho minutos —le avisó Ágora.
Clara siguió caminando … y descubrió una pequeña panadería .
El segundo día eligió una película sin consultar las recomendaciones. No le gustó demasiado, pero después pasó una hora hablando sobre ella con Mateo.
El tercer día preparó una receta que nunca había buscado: le salió mal, se rieron durante toda la cena.
El cuarto día dejó el teléfono en casa y caminó sin rumbo. Se perdió.
También encontró un jardín escondido detrás de una iglesia.
Al quinto día, Ágora cambió el tono.
—Tus decisiones recientes se apartan de tus patrones habituales. ¿Necesitas asistencia?
—No —respondió Clara—. Necesito comprobar si todavía puedo equivocarme por mí misma.
9. La gran reunión
Elena, Clara y Mateo organizaron una reunión vecinal en la biblioteca.
No querían destruir Ágora, querían cambiar la forma en que se utilizaba.
Acudieron médicos, funcionarios, comerciantes, profesores y trabajadores.
- Una médica explicó que Ágora le había ayudado a detectar enfermedades difíciles.
- Un bombero contó que el sistema había salvado vidas al anticipar un incendio.
- Una mujer denunció que había perdido una ayuda sin comprender el motivo.
- Un repartidor explicó que el algoritmo controlaba cada minuto de su jornada.
- Un profesor confesó que ya no sabía si evaluaba a sus alumnos o si simplemente aceptaba las puntuaciones de la plataforma.
Todos hablaban de la misma inteligencia artificial, pero no todos hablaban de la misma experiencia.
Entonces Elena escribió una pregunta en una pizarra:
¿Ágora trabaja para nosotros o estamos empezando a trabajar para Ágora?
La sala quedó en silencio.
10. Las nuevas reglas
Después de meses de debate, Nueva Aurora aprobó nuevas normas:
Ágora debía informar siempre que participara en una decisión importante.
Las personas podrían conocer qué datos se habían utilizado.
- Ningún préstamo, ayuda, sanción o despido podría depender únicamente de una puntuación automática.
- Las cámaras no podrían identificar ciudadanos sin una causa justificada.
- Los datos recogidos para una finalidad no podrían utilizarse para otra sin autorización.
- Los trabajadores tendrían derecho a saber cómo eran evaluados.
- Y cualquier persona podría solicitar que su caso fuera revisado por un ser humano.
Además, se creó un consejo independiente para auditar a Ágora.
Algunos dijeron que la ciudad sería menos eficiente … y probablemente tenían razón. Los trámites tardaron un poco más, algunas decisiones fueron más costosas, hubo errores humanos … pero también comenzaron a corregirse errores de las máquinas.
11. Una mañana cualquiera
Meses después, Clara salió de casa. Su teléfono vibró.
—Hay dos rutas posibles —dijo Ágora—. La primera es más rápida. La segunda atraviesa el parque y tarda diez minutos más. ¿Cuál prefieres?
Clara sonrió.
—Hoy elegiré el parque.
—Entendido.
Caminó entre los árboles y volvió a pasar por la pequeña panadería que había descubierto durante su experimento. Compró un bollo y se sentó en un banco. Ágora seguía allí. Continuaba organizando el tráfico, ayudando a los médicos y facilitando los trámites. La ciudad no había renunciado a la inteligencia artificial, simplemente había recordado algo importante:
Una herramienta puede ayudarnos a elegir, pero no debe acostumbrarnos a obedecer.
Puede protegernos … pero no debe observarnos sin límites.
Puede conocernos … pero no debe ser dueña de todo lo que sabe.
Puede anticipar lo que probablemente haremos … pero nunca debe confundir una predicción con nuestro destino.
Clara contempló a la gente caminando por el parque; algunos seguían las rutas recomendadas, otros se detenían, otros cambiaban de dirección … otros se equivocaban.
Y aquella mañana, Nueva Aurora parecía un poco menos perfecta, pero también parecía mucho más humana.
11. Moraleja
La inteligencia artificial puede ser una gran compañera de viaje.
Puede indicarnos el camino, advertirnos de los peligros y ayudarnos a llegar más lejos.
Pero si dejamos que elija siempre la ruta, quizá un día olvidemos que también podemos caminar en otra dirección.
La cuestión no es si la IA debe formar parte de nuestras vidas, la cuestión es si estará a nuestro servicio o si, poco a poco, terminaremos viviendo al servicio de sus decisiones.