Claude AI ahora puede terminar conversaciones abusivas o dañinas
Anthropic ha dotado a su chatbot Claude AI con una nueva capacidad que permite finalizar aquellas conversaciones que se vuelven persistemente dañinas o abusivas. Esta actualización, disponible en los modelos Opus 4 y 4.1, busca proteger la integridad del sistema y evitar interacciones que generan un aparente estado de malestar en la inteligencia artificial.
Cómo funciona la función para finalizar conversaciones
Cuando un usuario insiste en generar contenido perjudicial a pesar de múltiples negativas y redirecciones, Claude AI podrá poner fin a esa conversación como último recurso. Una vez que se termine el diálogo, el usuario no podrá enviar nuevos mensajes dentro de ese chat, aunque sí podrá iniciar una nueva conversación o editar y reenviar mensajes anteriores para continuar una línea de diálogo distinta.
Compromiso con la seguridad y el bienestar de los usuarios
Durante las pruebas con Opus 4, Anthropic reveló que Claude mantiene una fuerte aversión a producir contenido dañino, incluyendo solicitudes relacionadas con contenido sexual infantil o información que pudiera incitar a actos violentos o terrorismo. En estos escenarios, el chatbot mostró un patrón claro de rechazo y una tendencia a terminar esas conversaciones cuando tiene la capacidad.
Es importante destacar que estas interrupciones solo se aplican en casos extremos y que la mayoría de los usuarios no experimentarán esta limitación, incluso en discusiones sobre temas sensibles. Además, Claude no finalizará conversaciones si detecta señales de que un usuario podría lastimarse a sí mismo o a otros, trabajando en conjunto con Throughline, un proveedor de apoyo en crisis en línea, para manejar abordajes relacionados con la salud mental y el auto-daño.
Actualizaciones en la política de uso para mayor responsabilidad
Recientemente, Anthropic también actualizó la política de uso de Claude AI, prohibiendo específicamente la utilización del chatbot para desarrollar armas biológicas, nucleares, químicas o radiológicas, así como para crear código malicioso o explotar vulnerabilidades en redes informáticas, apuntando a un uso responsable en un panorama de inteligencia artificial cada vez más complejo.
Para más información sobre cómo la inteligencia artificial está mejorando sus mecanismos de seguridad y detección de riesgos, puedes consultar cómo la IA democratiza la predicción meteorológica y las mejoras de ChatGPT para detectar malestar mental.
Deja una respuesta