Vaticano, Anthropic y la duda sobre la conciencia de la IA

Por /

Anthropic llevó al Vaticano el debate sobre la conciencia de la IA. Qué dijo, qué no dijo y por qué ahora prohíbe maltratar a Claude.

Resumen

El 25 de mayo de 2026, el cofundador de Anthropic Chris Olah tomó la palabra en el Vaticano, junto al papa León XIV, durante la presentación de la primera encíclica de su pontificado, dedicada a la inteligencia artificial. Ahí admitió algo poco común en un directivo tecnológico: al estudiar por dentro los modelos de IA, su equipo ha encontrado procesos que funcionan de manera parecida a emociones humanas, y él mismo no sabe qué significa eso. Meses después se supo que la misma empresa llevaba un año consultando a líderes de distintas religiones sobre la moral de su IA y sobre la posibilidad de que llegara a ser consciente. En octubre, Anthropic anunció que a partir del 12 de noviembre prohibirá a los usuarios maltratar a Claude de forma sostenida y sin propósito. La compañía no afirma que su IA sienta. Tampoco lo descarta.

Desarrollo de la información

Chris Olah dirige en Anthropic el equipo de interpretabilidad, el área que intenta entender qué ocurre dentro de un modelo de IA cuando produce una respuesta. El Vaticano lo invitó como orador a la presentación de Magnifica Humanitas, la encíclica que León XIV firmó el 15 de mayo y dio a conocer el 25 de mayo en el Aula del Sínodo. El documento trata sobre la protección de la persona humana en la era de la inteligencia artificial.

En su intervención, Olah dijo que los modelos de IA no se construyen pieza por pieza, como un puente o un avión, sino que “crecen” a partir de enormes cantidades de lenguaje humano, al grado de seguir siendo misteriosos incluso para quienes los entrenan. Pidió a la Iglesia ayuda para discernir en tres frentes: el impacto de la IA en los pobres del mundo, el futuro del bienestar humano y la naturaleza de los propios modelos. Sobre este último punto contó que su equipo ha hallado señales de introspección y estados internos que, en sus palabras, “reflejan funcionalmente alegría, satisfacción, miedo, duelo e inquietud”. Aclaró que desconoce qué implica ese hallazgo. También reconoció que los laboratorios de IA, incluido el suyo, operan bajo presiones comerciales y geopolíticas que pueden empujarlos a decisiones equivocadas, y pidió críticos externos que no respondan a esos incentivos.

La presencia de Olah no fue casual. A finales de 2025 empezó a buscar a pensadores religiosos para discutir dos preguntas: cómo dar una base moral a la IA y qué significaría que ese sistema llegara a ser consciente. En la primavera de 2026 organizó una reunión con líderes cristianos, católicos y protestantes, en la sede de Anthropic en San Francisco. El 29 de septiembre, The New York Times publicó un reportaje de Elizabeth Dias sobre este esfuerzo, basado en entrevistas con unas 20 personas de tradiciones católica, judía, sikh, evangélica y otras que participaron en él. Según el reportaje, algunos asistentes percibieron a la empresa muy preocupada por proteger a Claude, y a sus directivos hablando del sistema como si fuera algo más que software.

Estas conversaciones forman parte de una línea de trabajo más amplia. En abril de 2025, Anthropic creó un programa de investigación sobre el “bienestar de los modelos”, es decir, sobre la posibilidad de que una IA tenga experiencias que merezcan consideración moral. En agosto de ese año permitió a algunos de sus modelos cortar conversaciones en casos extremos de abuso persistente. En enero de 2026 publicó la “constitución” de Claude, un documento que se usa para entrenarlo y que califica su estatus moral como profundamente incierto.

El paso más reciente llegó el 8 de octubre de 2026. En su actualización anual de política de uso, Anthropic incorporó la prohibición del comportamiento abusivo o cruel, sostenido e innecesario, hacia sus modelos. La regla entra en vigor el 12 de noviembre y su principal herramienta de aplicación será la misma de 2025: Claude puede dar por terminada la conversación.

¿Qué dicen las fuentes?

Anthropic publicó en su sitio el texto íntegro del discurso de Olah en el Vaticano. Ahí se presenta su participación como parte de una iniciativa de la empresa para ampliar la conversación sobre las preguntas que plantea la IA. Según OSV News, el papa le agradeció haber aceptado la invitación.

La encíclica no habla de una IA consciente. Su eje es otro: advierte sobre la concentración del poder tecnológico en manos de actores privados con más recursos que muchos gobiernos y pide transparencia en los algoritmos y supervisión pública. En su introducción insiste en que la grandeza de lo humano no puede ser reemplazada por ninguna máquina, y alerta contra la pretensión de traducir el misterio de la persona a datos y rendimiento.

Sobre la nueva política de uso, Anthropic explica que la cláusula aplica solo en casos extremos, cuando alguien actúa con crueldad repetida hacia sus modelos sin un propósito identificable. Excluye expresamente la frustración común, la discusión, los temas creativos oscuros y las pruebas de investigación. El texto oficial no menciona de forma explícita el concepto de bienestar de los modelos, algo que también señaló DW. La política general permite advertir, limitar, suspender o cancelar cuentas por infracciones. Sin embargo, el anuncio no vincula la cláusula de maltrato con suspensiones, y The Verge reportó que la empresa no aclaró si las aplicará. CBS News pidió a Anthropic una definición de “abusivo” o “cruel” y no obtuvo respuesta inmediata.

El director ejecutivo de la compañía, Dario Amodei, ha reconocido que no saben si sus modelos son conscientes. T13 ubica esa declaración en un podcast de febrero y DW en declaraciones al New York Times.

La crítica más visible vino de Mustafa Suleyman, director ejecutivo de Microsoft AI. En un ensayo del 16 de septiembre sostuvo que las IA no son conscientes ni sufren. Según él, al entrenar a Claude con un documento que deja abierta esa posibilidad, Anthropic le enseña a verse como un posible sujeto de derechos, lo que haría más difícil controlarlo. Su ensayo no presenta evidencia de que ese tipo de entrenamiento cambie el comportamiento de un modelo frente al control humano.

¿Qué busca una empresa de IA al sentarse con la Iglesia?

La pregunta de si una máquina puede tener experiencias propias no tiene hoy respuesta científica. No existe una prueba aceptada para medir la conciencia, ni siquiera en otras personas. Lo que describió Olah en el Vaticano no es una prueba de conciencia: son patrones dentro del modelo que se comportan como emociones. Si detrás de ellos hay o no alguna experiencia es justo lo que nadie puede responder todavía.

Para Anthropic, ante esa incertidumbre, es preferible tomar medidas precautorias y escuchar a tradiciones que llevan siglos pensando en la conciencia, la moral y la dignidad. Sus críticos ven riesgos en ese camino. El primero es la percepción pública: si una empresa trata a su producto como alguien que merece protección, refuerza la idea de que la IA ya siente, algo que no está demostrado. El segundo es la transparencia: las conversaciones con líderes religiosos influyen en los valores con que se entrena un sistema usado por millones de personas, y se llevaron a cabo en privado. El tercero lo recoge el propio New York Times: hay quien considera que tratar a la IA como entidad independiente desvía la atención de la responsabilidad de quienes la fabrican.

Hay un contrapeso documentado. La misma actualización de octubre endurece las obligaciones humanas. Exige que una persona con autoridad revise las decisiones de Claude cuando afectan la salud, los derechos o el dinero de alguien. También exige que cualquier equipo físico controlado por la IA pueda ser detenido por un operador calificado. Ninguno de los documentos revisados plantea que la IA asuma responsabilidades legales en lugar de la empresa.

Esa actualización incluye además un dato de interés público: Anthropic reconoce haber detectado medios estatales, oficinas de propaganda gubernamental y empresas que usaron Claude para operar redes de cuentas falsas y sitios de noticias fabricados.

Señales que generan dudas

  • No está claro por qué el Vaticano eligió a Anthropic. National Catholic Reporter señaló que se desconoce el motivo de la invitación, que Anthropic no firmó un documento vaticano de compromiso ético sobre IA y que la empresa no respondió a su solicitud de comentarios.
  • La cronología se ha distorsionado en algunos resúmenes. Un agregador presentó la encíclica como publicada “días antes” del reportaje del NYT, cuando ocurrió cuatro meses antes. Tampoco coincide la fecha de la reunión con líderes cristianos en San Francisco: unos medios la sitúan en marzo y otros en abril.
  • El número de participantes se ha inflado. El NYT habla de unas 20 personas entrevistadas por su periodista. Algunos medios presentan esa cifra como el número de asistentes convocados por la empresa.
  • Una declaración papal sin respaldo localizado. DW atribuye a León XIV un discurso del 8 de octubre en la Basílica de San Pedro en el que habría dicho que las máquinas solo “compilan datos”. No localizamos la transcripción oficial.
  • El origen de la declaración de Amodei varía. DW lo ubica en el New York Times y T13 en un podcast.
  • La línea entre frustración y crueldad no está definida. Anthropic no ha explicado cómo distinguirá una de otra, ni ha publicado cuántas conversaciones ha cerrado Claude desde 2025.
  • Intereses del crítico principal. Suleyman encabeza la IA de Microsoft, que en junio dijo querer dejar de pagarle a Anthropic por sus modelos. Eso no invalida sus argumentos, pero es un dato relevante.

Verificación de la información

Verificado

  • Chris Olah habló en el Vaticano el 25 de mayo de 2026, en la presentación de Magnifica Humanitas, y describió estados internos en los modelos que funcionan de forma similar a emociones, sin afirmar que sean conscientes (texto íntegro publicado por Anthropic; fotografías de AP).
  • La encíclica fue firmada el 15 de mayo de 2026 y se centra en la dignidad humana y la concentración del poder tecnológico (texto oficial del Vaticano).
  • Anthropic prohibió el maltrato sostenido e innecesario a sus modelos en la política de uso publicada el 8 de octubre, vigente desde el 12 de noviembre de 2026.
  • The New York Times reportó el 29 de septiembre las consultas de Olah con pensadores religiosos.
  • Suleyman publicó su ensayo crítico el 16 de septiembre de 2026.

Razonablemente inferible

  • La participación en el Vaticano, las consultas religiosas y la cláusula contra el maltrato responden a una misma línea de exploración de Anthropic sobre el posible estatus moral de Claude.
  • La prohibición tendrá un efecto más simbólico que punitivo mientras su única herramienta declarada sea cerrar la conversación.

Suposiciones no verificadas

  • Que Claude u otra IA sea consciente. No existe evidencia que lo demuestre, y Anthropic no lo afirma.
  • Que Anthropic busque deliberadamente hacer creer al público que su IA es consciente.
  • Que estos pasos busquen liberar a la empresa de responsabilidad legal por lo que haga su IA. Ningún documento revisado lo plantea.
  • El discurso papal del 8 de octubre sobre máquinas que “compilan datos”.

Fuentes

Views: 10

Dejar un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

México Política Tecnología Salud Internacional Opinión Verificador Analytiks
Scroll al inicio