La empresa de inteligencia artificial Anthropic actualizó su política de uso para prohibir el maltrato sostenido hacia su modelo Claude, en medio de un debate sobre la conciencia de las máquinas.
La compañía Anthropic anunció el jueves que prohibirá a los usuarios de su sistema de inteligencia artificial Claude «tratarlo» con crueldad innecesaria. La empresa con sede en San Francisco actualizó su política de uso para incluir «una prohibición del comportamiento sostenido e innecesariamente abusivo o cruel hacia nuestros modelos».
«La capacidad de Claude para poner fin a estas interacciones seguirá siendo el principal mecanismo de aplicación» de la política, afirmó la empresa.
La política actualizada no menciona de forma explícita el llamado «bienestar de los modelos», la idea de que los sistemas de IA podrían merecer tipos de protección que normalmente se reservan a los seres vivos, pero Anthropic y sus directivos han considerado abiertamente el concepto.
Anthropic no respondió de inmediato a una solicitud de comentarios.
La empresa dijo el año pasado que otorgó a Claude la capacidad de terminar conversaciones en casos raros y extremos de «interacciones con usuarios persistentemente dañinas o abusivas».
Luego, en febrero, el director ejecutivo Dario Amodei dijo al New York Times que no estaba seguro de que los modelos de IA pudieran ser conscientes.
Jackson Stakeman, gerente general de Sparq, un proveedor de servicios de IA, considera que preguntarse si la IA es consciente podría ser un interrogante equivocado.
«La conciencia es una trampa. No podemos demostrarla en los demás. Debatirla en el caso de la IA es dar vueltas en círculos», dijo Stakeman a la AFP.
«El espejo es una mejor metáfora. Estos sistemas reflejan lo que ponemos en ellos, a gran escala. Eso es motivo suficiente para el cambio de política» en Anthropic, añadió.
En un discurso pronunciado en italiano el jueves en la Basílica de San Pedro, el papa León XIV sugirió que las máquinas carecen de alma, al decir que simplemente «compilan datos».