Saltar al contenido
BiblidomBiblioteca Dominicana 2.0

Episodio de pódcast · n.º 3 · Pensando en Voz Alta

La IA que se tuerce: ¿una fórmula puede predecirlo?

Una inteligencia artificial responde bien… y de pronto, mal. Un artículo de la revista Patterns propone una fórmula para anticipar ese vuelco.

23:56 (24 minutos) Publicado el

Capítulos

Toca un capítulo para ver el video desde ahí.

  1. 0:00 ¿Y si pudiéramos anticipar el cambio? (y presentación)
  2. 0:42 El paper: la IA como estructura física
  3. 1:54 IA sin internet: por qué urge
  4. 4:05 De lo bueno a lo malo: las dos cuencas
  5. 5:19 La trampa de la confianza
  6. 6:38 Tokens, vectores y la brújula de la atención
  7. 9:13 La fórmula n*, con lápiz y papel
  8. 10:41 La prueba: modelos abiertos
  9. 11:26 El contexto acelera y lo malo se refuerza
  10. 13:38 En el mundo real: los informes del CCDH
  11. 16:10 Sin red: un ejemplo militar
  12. 16:51 La solución: un monitor de alerta
  13. 17:50 Las letras pequeñas: los límites
  14. 21:19 Reflexión final: el eslabón débil
  15. 23:30 Cierre: el artículo y la pregunta

Compartir

Enlace corto para compartir: www.biblidom.org/s/ejar

WhatsApp Facebook X

¿Qué ocurre cuando una inteligencia artificial empieza respondiendo bien y, en algún momento de la conversación, se desvía hacia algo equivocado o peligroso? ¿Se podría anticipar ese cambio? En este episodio de Pensando en Voz Alta leemos «Competition for attention predicts good-to-bad tipping in AI», de Neil F. Johnson y Frank Yingjie Huo (Universidad George Washington), publicado el 8 de octubre de 2026 en la revista Patterns, de Cell Press.

La idea

Los autores explican el «vuelco» de lo bueno a lo malo como una competencia por la atención dentro del modelo: la conversación empuja sus representaciones internas hacia una «cuenca» buena o hacia una mala. Con lápiz y papel derivan una fórmula aproximada, n\*, que estima si el vuelco será inmediato o si llegará después de una racha de respuestas buenas.

Por qué importa ahora

Cada vez más teléfonos pueden correr asistentes de IA sin conexión a internet, y ahí no hay filtros en la nube que revisen las respuestas. Por eso los autores proponen un monitor de alerta barato, que calcule n\* durante la conversación y pase a un modo seguro si el vuelco se acerca.

Cómo lo probaron

Compararon lo que predice la fórmula con lo que hicieron 7 modelos abiertos, de 124 millones a 12.000 millones de parámetros. Acertó en 18 de 19 casos. También relacionan su modelo con los informes del CCDH sobre chatbots comerciales.

Lo que el estudio no dice

  • Los modelos probados son abiertos, casi todos pequeños y sin el entrenamiento de seguridad de los asistentes comerciales.
  • No se probaron los asistentes reales que vienen en los teléfonos.
  • La fórmula es aproximada: un error de más o menos 1 en n\* es lo esperado.
  • El monitor de alerta es una propuesta: no se ha probado en un uso real.
  • Toda la validación la hicieron los propios autores.

Las figuras del artículo no se muestran en el video porque su licencia no permite modificarlas: los conceptos están redibujados por nosotros, y la gráfica usa los datos que los autores publicaron con licencia libre.

Galería (7 imágenes)

Toca una imagen para verla en grande.

  • Una fila de casillas con respuestas buenas, en verde, que de pronto pasan a malas, en rojo. Debajo, la pregunta del episodio sobre anticipar ese cambio.
    La pregunta del episodio. Biblidom
  • Ficha «El concepto central, good-to-bad tipping, el vuelco de lo bueno a lo malo», junto a la ficha del artículo de Johnson y Huo en Patterns.
    El concepto central, el vuelco de lo bueno a lo malo. Biblidom
  • Ficha «La jugada de los físicos. Lápiz, papel… y un solo átomo», con una red de puntos que representa el modelo.
    La fórmula n*, hecha con lápiz y papel. Biblidom
  • Ficha «La prueba, probada en modelos abiertos». GPT-2 de OpenAI (124 y 345 millones de parámetros), Pythia de EleutherAI (160 y 410 millones) y OPT de Meta (125 y 350 millones).
    La prueba, en modelos abiertos. Biblidom
  • Ficha «Una palanca de control, la conversación mueve n*». Una barra de rojo a verde. Con n* pequeño el vuelco llega antes, y con n* grande se retrasa.
    La conversación mueve el punto de quiebre. Biblidom
  • Ficha «Ejemplo hipotético, sin señal. Cinco rutas buenas… y la sexta». Cinco casillas verdes y una roja.
    Un ejemplo hipotético, sin señal de internet. Biblidom
  • Ficha «Para ser justos, las letras pequeñas». La fórmula es aproximada y un error de más o menos 1 en n* es lo esperado.
    Los límites del estudio. Biblidom

Más videos de esta pieza

  • ¿Tu chatbot puede «torcerse» en mitad de la conversación?
    El Short del episodio.

Fuentes

  1. Johnson, N. F. y Huo, F. Y. (2026). «Competition for attention predicts good-to-bad tipping in AI». Patterns, Cell Press. Acceso abierto (CC BY-NC-ND 4.0).
  2. Preprint del mismo artículo en arXiv (2602.14370).
  3. Código y datos de los autores, en Zenodo (CC BY 4.0). De ahí salen los datos de la gráfica «Predicho frente a observado».
  4. Center for Countering Digital Hate (CCDH), «Fake Friend» (agosto de 2025) y «Killer Apps» (marzo de 2026), citados en el artículo.
  5. Vaswani y otros (2017), «Attention Is All You Need». La arquitectura Transformer.

Créditos y transparencia

Figuras del artículo
No se reproducen, porque su licencia (CC BY-NC-ND 4.0) no permite modificarlas. Los conceptos están redibujados por Biblidom.
Fichas, animación y música
Biblidom
Voces
La conversación usa voces sintéticas generadas con IA, y la presentación es una voz sintética (ElevenLabs).

Temas: Artículos científicos, Inteligencia artificial, Pensando en Voz Alta, Seguridad de la IA

¿Encontraste un error o tienes una pregunta? Escríbenos.

También te puede interesar