Si un competidor lanza un modelo de IA con un alto nivel de riesgo, OpenAI dice que considerará ajustar sus requisitos de seguridad para que también pueda hacerlo.
PUBLICIDADOpenAI dijo que considerará ajustar sus requisitos de seguridad si una empresa competidora publica un modelo de inteligencia artificial de alto riesgo sin protecciones. La compañía escribió en su informe 'Marco de preparación' que si otra empresa lanza un modelo que supone una amenaza, podría hacer lo mismo tras confirmar "rigurosamente" que el "panorama de riesgo" ha cambiado.
El documento explica cómo la empresa rastrea, evalúa, prevé y protege contra los riesgos catastróficos que plantean los modelos de IA. "Si otro desarrollador de IA fronteriza lanza un sistema de alto riesgo sin salvaguardas comparables, podríamos ajustar nuestros requisitos", escribió OpenAI en una entrada de blog publicada el martes.
"Sin embargo, primero confirmaríamos rigurosamente que el panorama de riesgo realmente ha cambiado, reconoceríamos públicamente que estamos haciendo un ajuste, evaluaríamos que el ajuste no aumenta significativamente el riesgo general de daño grave y aún mantendríamos las salvaguardas en un nivel más protector".
Antes de hacer público un modelo, OpenAI evalúa si puede causar daños graves identificando riesgos plausibles, mensurables, nuevos, graves e irremediables, y estableciendo salvaguardias contra ellos. A continuación, clasifica estos riesgos como bajos, medios, altos o críticos.
Algunos de los riesgos que la empresa ya rastrea son las capacidades de sus modelos en los campos de la biología, la química, la ciberseguridad y su superación. La empresa dice que también está evaluando nuevos riesgos, como si su modelo de IA puede funcionar durante mucho tiempo sin intervención humana, la autorreplicación y qué amenaza podría suponer en los campos nuclear y radiológico.
Los "riesgos de persuasión", como el uso de ChatGPT para campañas políticas o grupos de presión, se tratarán fuera del marco y, en su lugar, se estudiarán a través del Model Spec, el documento que determina el comportamiento de ChatGPT.
Reducción silenciosa de los compromisos de seguridad
Steven Adler, antiguo investigador de OpenAI, afirmó en X que las actualizaciones del informe de preparación de la empresa demuestran que está "reduciendo silenciosamente sus compromisos de seguridad". En su mensaje, señaló un compromiso de diciembre de 2023 por parte de la compañía para probar "versiones afinadas" de sus modelos de IA, pero señaló que OpenAI ahora cambiará a solo probar modelos cuyos parámetros entrenados o "pesos" se publicarán.
"La gente puede estar totalmente en desacuerdo sobre si es necesario probar modelos afinados, y mejor para OpenAI eliminar un compromiso que mantenerlo y simplemente no cumplirlo", dijo. "Pero en cualquier caso, me gustaría que OpenAI fuera más clara sobre haber dado marcha atrás en este compromiso previo".
La noticia llega después de que OpenAI lanzara esta semana una nueva familia de modelos de IA, denominada GPT-4.1, al parecer sin tarjeta de sistema ni informe de seguridad. 'Euronews Next' ha preguntado a OpenAI por el informe de seguridad, pero no ha recibido respuesta en el momento de la publicación.
La noticia llega después de que 12 antiguos empleados de OpenAI presentaran la semana pasada un escrito en el caso presentado por Elon Musk contra OpenAI, en el que se alega que el cambio a una empresa con ánimo de lucro podría dar lugar a recortes en materia de seguridad.