Este chatbot de IA ha aprendido la diferencia entre el bien y el mal

Claude AI de Anthropic ha desarrollado un conjunto de principios éticos a través de una “constitución” y puede manejar indicaciones del tamaño de un libro.

Dado que la inteligencia artificial (IA) a menudo genera contenido ficticio y ofensivo, Anthropic, una empresa dirigida por antiguos investigadores de OpenAI, está trazando un rumbo diferente: desarrollar una IA capaz de saber qué es bueno y malo con una mínima intervención humana.

El chatbot Claude de Anthropic está diseñado con una “constitución” única, un conjunto de reglas inspiradas en la Declaración Universal de Derechos Humanos, diseñadas para garantizar un comportamiento ético junto con una funcionalidad sólida, junto con otras normas “éticas” como las reglas de Apple para desarrolladores de aplicaciones.

Sin embargo, el concepto de “constitución” puede ser más metafórico que literal. Jared Kaplan, exconsultor de OpenAI y uno de los fundadores de Anthropic, dijo a Wired que la constitución de Claude podría interpretarse como un conjunto específico de parámetros de entrenamiento, que cualquier entrenador usa para modelar su IA. Esto implica un conjunto diferente de consideraciones para el modelo, que alinea más su comportamiento con su constitución y desalienta acciones consideradas problemáticas.

El método de entrenamiento de Anthropic se describe en un artículo de investigación titulado “IA constitucional: inofensividad de la retroalimentación de la IA”, que explica una forma de crear una IA “inofensiva” pero útil que, una vez entrenada, puede mejorar por sí misma sin la retroalimentación humana. , identificando comportamientos inadecuados y adaptando su propia conducta.

“Gracias a la IA constitucional y la capacitación en inocuidad, puede confiar en Claude para representar a su empresa y sus necesidades”, dice la compañía en su sitio web oficial.  “Claude ha sido entrenado para manejar con gracia incluso a compañeros de conversación desagradables o maliciosos”.

En particular, Claude puede manejar más de 100 000 tokens de información, mucho más que ChatGPT, Bard o cualquier otro modelo de lenguaje grande competente o chatbot de IA actualmente disponible.

En el ámbito de la IA, un ” token ” generalmente se refiere a una porción de datos, como una palabra o un carácter, que el modelo procesa como una unidad discreta. La capacidad del token de Claude le permite administrar conversaciones extensas y tareas complejas, lo que lo convierte en una presencia formidable en el panorama de la IA. Para el contexto, podría proporcionar fácilmente un libro completo como mensaje, y sabría qué hacer.

La IA y el relativismo del bien contra el mal

La preocupación por la ética en la IA es apremiante, pero es un área matizada y subjetiva. La ética, tal como la interpretan los entrenadores de IA, podría limitar el modelo si esas reglas no se alinean con las normas sociales más amplias. Un énfasis excesivo en la percepción personal de un entrenador de “bueno” o “malo” podría reducir la capacidad de la IA para generar respuestas poderosas e imparciales.

Este tema ha sido muy debatido entre los entusiastas de la IA, quienes alaban y critican (dependiendo de sus propios sesgos) la intervención de OpenAI en su propio modelo en un intento por hacerlo más políticamente correcto. Pero por paradójico que parezca, una IA debe ser entrenada usando información poco ética para diferenciar lo que es ético de lo que no es ético. Y si la IA conoce esos puntos de datos, los humanos inevitablemente encontrarán una manera de “liberar” el sistema, eludir esas restricciones y lograr resultados que los entrenadores de la IA trataron de evitar.

La implementación del marco ético de Claude es experimental. ChatGPT de OpenAI, que también tiene como objetivo evitar indicaciones poco éticas, ha arrojado resultados mixtos . Sin embargo, el esfuerzo por abordar el mal uso ético de los chatbots, como lo demuestra Anthropic, es un paso notable en la industria de la IA.

La formación ética de Claude lo alienta a elegir respuestas que se alineen con su constitución, centrándose en apoyar la libertad, la igualdad, el sentido de hermandad y el respeto por los derechos individuales. Pero, ¿puede una IA elegir constantemente respuestas éticas? Kaplan cree que la tecnología está más avanzada de lo que muchos podrían anticipar. “Esto simplemente funciona de una manera sencilla”, dijo en el Seminario MLSys de Stanford la semana pasada. “Esta inocuidad mejora a medida que avanzas en este proceso”.

Claude de Anthropic nos recuerda que el desarrollo de la IA no es solo una carrera tecnológica; es un viaje filosófico. No se trata solo de crear una IA que sea más “inteligente”, para los investigadores de vanguardia, se trata de crear una que entienda la delgada línea que separa el bien del mal.