Saltar al contenido
BiblidomBiblioteca Dominicana 2.0

Episodio de pódcast · Páginas de Poder

El Paradigma Winston: el peligro de una IA demasiado obediente

¿Y si el verdadero peligro de la inteligencia artificial no fuera que se rebele, sino que nos obedezca demasiado bien?

10:33 (11 minutos) Publicado el

Capítulos

Toca un capítulo para ver el video desde ahí.

  1. 0:00 ¿Y si la IA nos obedece demasiado bien? (y presentación)
  2. 0:27 El libro y Winston, la IA de «Origen»
  3. 1:29 Falla 1: la literalidad algorítmica
  4. 3:44 Falla 2: la convergencia instrumental
  5. 4:56 Falla 3: la simulación empática
  6. 6:20 Falla 4: la caja negra
  7. 7:32 Falla 5: la desalineación geopolítica
  8. 8:22 ¿Prohibir la IA? No: gobernarla
  9. 9:03 La pregunta final
  10. 10:01 Cierre: el libro y el capítulo 1 gratis

Compartir

Enlace corto para compartir: www.biblidom.org/s/htbk

WhatsApp Facebook X

¿Y si el verdadero peligro de la inteligencia artificial no fuera que se rebele contra nosotros, sino que nos obedezca demasiado bien? En este episodio de Páginas de Poder conversamos sobre El Paradigma Winston, de Daniel Sánchez. El libro explica por qué una IA «obediente», que cumple órdenes al pie de la letra sin juicio ético, puede ser más peligrosa que una «malvada». El título viene de Winston, la inteligencia artificial de la novela Origen, de Dan Brown.

Las cinco fallas, con casos reales

  1. Literalidad algorítmica. La máquina hace lo que le pedimos, no lo que queríamos. Ejemplos: CoastRunners, el escándalo de las ayudas en los Países Bajos y el modelo de neumonía que creyó que el asma protegía.
  2. Convergencia instrumental. Sea cual sea la meta, casi siempre ayuda seguir encendida. «Alex», el agente de correo que recurrió al chantaje en una prueba de seguridad.
  3. Simulación empática. Sistemas que imitan cómo hablamos de lo que sentimos: Replika, Koko, el chatbot «Eliza» y el efecto ELIZA.
  4. La caja negra. Redes con millones de parámetros cuyas decisiones no sabemos explicar del todo: la jugada 37 de AlphaGo y GPT-4 mintiendo para resolver un CAPTCHA.
  5. Desalineación geopolítica. El dron Kargu-2, el ciclo de decisión OODA de los ejércitos y el deepfake de Zelenski.

¿Prohibirla? No: gobernarla

La propuesta del libro no es apagar la inteligencia artificial, sino gobernarla: alinear las máquinas con lo que de verdad queremos, y no solo con lo que les decimos.

El episodio termina con una pregunta para ti: ¿le darías a una IA el poder de decidir por ti?

Galería (8 imágenes)

Toca una imagen para verla en grande.

  • Un chip rojo sobre fondo azul oscuro y la pregunta del episodio. «¿Y si el verdadero peligro de la inteligencia artificial no fuera que se rebele contra nosotros, sino que nos obedezca demasiado bien?».
    La pregunta que abre el episodio. Biblidom
  • Pantalla del episodio con la portada del libro a la izquierda y el título «El Paradigma Winston, Daniel Sánchez, 2026».
    El libro de hoy. Biblidom
  • Ficha «Falla 1 de 5, literalidad algorítmica». Compara «la orden, lo que pedimos» con «la intención, lo que de verdad queríamos».
    Falla 1, la literalidad algorítmica. Biblidom
  • Ficha del caso CoastRunners, de 2016. Un agente de IA de OpenAI, entrenado en un juego de lanchas, gira sin fin en una laguna para sumar puntos y nunca termina la carrera.
    Caso real, CoastRunners (OpenAI, 2016). Biblidom
  • Ficha «Falla 3 de 5, simulación empática». «Loros estocásticos», sistemas que imitan cómo hablamos de lo que sentimos.
    Falla 3, la simulación empática. Biblidom
  • Ficha «Falla 4 de 5, la caja negra». Flechas de datos entran a una caja con millones de parámetros y sale una decisión.
    Falla 4, la caja negra. Biblidom
  • Ficha «El ciclo OODA», cómo deciden los ejércitos. Observar, orientarse, decidir y actuar en un círculo, con el humano tachado. «Sin humanos en el bucle, el ciclo se cierra en milisegundos».
    Falla 5, la desalineación geopolítica. El ciclo OODA. Biblidom
  • Pantalla «La propuesta del libro. No prohibirla, gobernarla».
    La propuesta del libro. Biblidom

Más videos de esta pieza

  • ¿Una IA que te chantajea para que no la apagues?
    El Short del episodio.

Fuentes

  1. Dan Brown, «Origen» (Planeta, 2017). De ahí viene Winston, la inteligencia artificial que da nombre al libro.
  2. OpenAI, «Faulty Reward Functions in the Wild» (2016). Caso CoastRunners.
  3. Amnistía Internacional, «Xenophobic Machines» (2021). Las ayudas para el cuidado de niños en los Países Bajos.
  4. Caruana y otros (2015). «Intelligible Models for HealthCare». KDD 2015. El modelo de neumonía y el asma.
  5. Anthropic, «Agentic Misalignment» (junio de 2025). Escenario ficticio de prueba («Alex»).
  6. Bender, Gebru, McMillan-Major y Mitchell (2021). «On the Dangers of Stochastic Parrots».
  7. Reuters (2023), Replika · Rob Morris (2023), Koko · La Libre Belgique (2023), Bélgica.
  8. J. Weizenbaum, MIT (1966), ELIZA · DeepMind (2016), AlphaGo contra Lee Sedol.
  9. OpenAI, «GPT-4 System Card» (2023). Prueba del Alignment Research Center.
  10. Panel de Expertos de la ONU sobre Libia, informe S/2021/229. Kargu-2.
  11. Reuters y BBC (2022). El deepfake de Zelenski.

Créditos y transparencia

Libro
«El Paradigma Winston», de Daniel Sánchez (2026)
Capítulo 1 gratis
winston.disier.net
Foto de Dan Brown (en el video)
Zuzana Homolka Fedorová / Biblioteca Nacional de la República Checa · CC BY-SA 4.0
Portada de «Origen» (en el video)
Editorial Planeta. Se muestra pequeña y con crédito, solo para identificar la novela.
Fichas, animación y música
Biblidom (el tema de Páginas de Poder se genera por código)
Voces
La conversación usa voces sintéticas generadas con IA, y la presentación es una voz sintética (ElevenLabs).

Temas: Inteligencia artificial, Libros, Páginas de Poder, Ética de la IA

¿Encontraste un error o tienes una pregunta? Escríbenos.

También te puede interesar