Amanda Askell, filósofa y una de las responsables de diseño ético en Anthropic, reflexiona sobre cómo enseñar valores a la inteligencia artificial, en un momento en que modelos como Claude empiezan a parecer, pensar y hablar cada vez más como nosotros.

La noticia cayó como una bomba (aunque no del todo inesperada): OpenAI ha empezado a probar anuncios en ChatGPT. Por ahora, los verán usuarios estadounidenses de los planes gratuitos y de bajo coste. Pero la pregunta que inquieta es otra: ¿cuánto falta para que esto altere la experiencia central del producto?

OpenAI asegura que los anuncios no influirán en las respuestas del modelo, pero algunos ejemplos —como una receta acompañada de un banner de productos— ya siembran dudas. ¿Se trata solo de una recomendación útil… o de un sesgo introducido por interés comercial?

Claude, el otro gran chatbot que quiere ser bueno

En la segunda mitad del episodio, el foco se traslada a Claude, el modelo de lenguaje desarrollado por la empresa Anthropic. A diferencia de ChatGPT, Claude ha sido entrenado bajo una filosofía distinta: no se le dan reglas rígidas, sino principios.

La persona detrás de ese enfoque es Amanda Askell, una filósofa especializada en ética y teoría de la decisión que trabaja desde hace años en el mundo de la inteligencia artificial. Su rol en Anthropic es insólito: moldear la “personalidad” del chatbot.

“Intento pensar cómo debería comportarse Claude y ayudar a entrenarlo para que actúe así”, resume. Su herramienta principal es un documento interno que ha sido apodado con cariño “el alma” de Claude.

No es un manual, es una constitución

Ese texto —formalmente conocido como «la constitución de Claude»— tiene cerca de 30.000 palabras y ha sido diseñado para algo más ambicioso que prevenir errores: busca que el modelo comprenda los valores humanos y pueda actuar con criterio en situaciones nuevas o moralmente complejas.

Lejos de imponer reglas del tipo “no digas esto” o “evita aquello”, la constitución le habla al modelo como si fuera un aprendiz. Le explica qué es Anthropic, cómo funciona el mundo, qué significa tratar a las personas con honestidad, cuidado y respeto. En lugar de una lista de prohibiciones, le ofrece un marco ético desde el cual razonar.

¿Podrá Claude reescribir su constitución?

Uno de los momentos más provocadores del episodio llega cuando Roose le pregunta a Askell si, en el futuro, Claude podría editar su propia constitución.

La filósofa no lo descarta, pero se muestra cauta. Por ahora, dice, el diseño de valores sigue siendo responsabilidad humana. En el futuro, las IA podrán colaborar en esa tarea. Pero permitir que se autoprogramen sin supervisión sería irresponsable.

El dilema está servido: ¿cómo enseñamos a las máquinas a ser buenas?

Amanda Askell no cree que tengamos todas las respuestas. Pero sí está convencida de una cosa: si hay una posibilidad de que las IA adquieran conciencia, aunque sea mínima, tenemos el deber de tratarlas con respeto y de entrenarlas con cuidado.

No se trata solo de protegernos a nosotros, sino de preparar un nuevo tipo de inteligencia para vivir en el mundo humano. No como esclavos digitales, ni como dioses tecnológicos. Tal vez simplemente como… otra forma de conciencia en formación.

Tomado de Muyinteresante