El inmenso crecimiento de la Inteligencia Artificial (IA) ha traído consigo oportunidades de transformación en todos los ámbitos, desde industrias y economías hasta sociedades en general. Sin embargo, este avance tecnológico también plantea una serie de posibles desafíos. En una reciente reunión pública, el Comité Asesor Nacional de IA (NAIAC)1, que ofrece recomendaciones sobre la competitividad de la IA en Estados Unidos, la ciencia relacionada con la IA y la fuerza laboral de IA al presidente y a la Oficina de Iniciativa Nacional de IA, votó a favor de una recomendación sobre "IA generativa fuera de frontera".2
Esta recomendación tiene como objetivo describir los riesgos y ofrecer recomendaciones sobre cómo evaluar y gestionar los modelos de IA fuera de frontera, que generalmente se refieren a modelos de código abierto. En resumen, la recomendación de la NAIAC establece una guía para abordar de manera responsable las complejidades de la IA generativa. Este artículo tiene como propósito arrojar luz sobre esta recomendación y explicar cómo los clientes de DataRobot pueden utilizar la plataforma de forma proactiva para alinear su adopción de IA con esta recomendación.
Modelos dentro y fuera de la frontera
En la recomendación, se establece una distinción entre los modelos dentro y fuera de la frontera de IA generativa basada en su accesibilidad y nivel de desarrollo. Los modelos dentro de la frontera representan los avances más recientes y sofisticados en tecnología de IA. Estos son sistemas complejos y de alta capacidad que normalmente son desarrollados y utilizados por empresas tecnológicas líderes, instituciones de investigación o laboratorios especializados en inteligencia artificial (como los actuales modelos de última generación como GPT-4 y Google Gemini). Debido a su carácter avanzado y complejo, los modelos dentro de la frontera suelen tener un acceso restringido: no están generalmente disponibles ni accesibles para el público en general.
Por otro lado, los modelos fuera de la frontera suelen estar ampliamente accesibles: son sistemas de inteligencia artificial más disponibles y accesibles, a menudo en formato de código abierto. Aunque pueden no alcanzar las capacidades más avanzadas de IA, son significativos debido a su uso extendido. Estos modelos incluyen tanto sistemas propietarios como sistemas de inteligencia artificial de código abierto y son utilizados por una gama más amplia de interesados, que incluyen pequeñas empresas, desarrolladores individuales e instituciones educativas.
Esta distinción es crucial para comprender los diferentes niveles de riesgos, requisitos de gobernanza y enfoques regulatorios necesarios para los distintos sistemas de IA. Mientras que los modelos dentro de la frontera pueden requerir una supervisión especializada debido a su naturaleza avanzada, los modelos fuera de la frontera plantean un conjunto diferente de desafíos y riesgos debido a su uso y accesibilidad generalizada.
Lo que abarca la recomendación del NAIAC
La recomendación sobre 'IA generativa fuera de la frontera', emitida por la NAIAC en octubre de 2023, se enfoca en la gobernanza y la evaluación de riesgos de los sistemas de IA generativa. El documento presenta dos recomendaciones clave para la evaluación de los riesgos asociados con los sistemas de IA generativa:
Para modelos propietarios fuera de la frontera: La recomendación insta a la administración Biden-Harris a fomentar que las empresas amplíen sus compromisos voluntarios3 para incluir evaluaciones basadas en riesgos de sistemas de IA generativa fuera de la frontera. Esto implica pruebas independientes, identificación de riesgos e intercambio de información sobre riesgos potenciales. El objetivo particular de esta recomendación es subrayar la importancia de comprender y compartir la información sobre los riesgos asociados con los modelos fuera de la frontera.
Para modelos de código abierto fuera de la frontera: En el caso de los sistemas de IA generativa con acceso ilimitado, como los sistemas de código abierto, se asigna la responsabilidad al Instituto Nacional de Estándares y Tecnología (NIST) de colaborar con una amplia gama de interesados para establecer marcos adecuados para mitigar los riesgos de la IA. Este grupo incluye a la academia, la sociedad civil, organizaciones de defensa y la industria (si lo permiten la viabilidad legal y técnica). El objetivo es desarrollar entornos de prueba y análisis, sistemas de medición y herramientas para evaluar estos sistemas de IA. Esta colaboración busca establecer metodologías apropiadas para identificar riesgos potenciales críticos asociados con estos sistemas más accesibles públicamente.
La NAIAC destaca la importancia de comprender los riesgos que presentan los sistemas de IA generativa fuera de la frontera y ampliamente disponibles, que incluyen tanto sistemas propietarios como de código abierto. Estos riesgos van desde la obtención de información perjudicial hasta violaciones de la privacidad y la generación de contenido perjudicial. La recomendación reconoce los desafíos únicos en la evaluación de riesgos en sistemas de IA de código abierto debido a la falta de un objetivo definido para la evaluación y las restricciones sobre quién puede probar y evaluar el sistema.
Asimismo, se destaca que la investigación sobre estos riesgos requiere un enfoque multidisciplinario que integre conocimientos de las ciencias sociales, las ciencias del comportamiento y la ética para respaldar decisiones sobre regulaciones o gobernanza. Aunque se reconocen los desafíos, el documento también menciona los beneficios de los sistemas de código abierto para democratizar el acceso, fomentar la innovación y mejorar la expresión creativa.
En el caso de los sistemas patentados de IA, la recomendación señala que, si bien las empresas pueden entender los riesgos, esta información a menudo no se comparte con interesados externos, incluidos los responsables de políticas. Esto requiere una mayor transparencia en esta área.
Regulación de modelos de IA generativa
Recientemente, el debate sobre los riesgos catastróficos de la IA ha dominado las conversaciones sobre el peligro de la IA, especialmente en lo referente a la IA generativa. Esto ha llevado a llamados para regular la IA con el fin de promover un desarrollo e implementación responsables de herramientas de IA. Es pertinente explorar la posibilidad de regulaciones en relación con la IA generativa. Hay dos áreas principales donde los responsables políticos pueden regular la IA: la regulación a nivel de modelo y la regulación a nivel de caso de uso.
En la IA predictiva, por lo general, los dos niveles se superponen significativamente, ya que la IA limitada se diseña para un caso de uso específico y no se puede generalizar a muchos otros casos de uso. Por ejemplo, un modelo creado para identificar pacientes con alta probabilidad de readmisión solo se puede utilizar para dicho caso de uso particular y requerirá información de entrada similar a la que recibió. Sin embargo, un único modelo de lenguaje grande (LLM), una forma de modelos generativos de IA, puede emplearse de diversas formas para resumir historiales de pacientes, generar posibles planes de tratamiento y mejorar la comunicación entre médicos y pacientes.
Como se resalta en los ejemplos anteriores, a diferenciaLa inteligencia artificial predictiva puede ser utilizada en una variedad de casos de uso. Es crucial diferenciar entre el desarrollo de modelos de IA, en especial los modelos generativos, ya que penalizarlos podría frenar la innovación y restringir su potencial beneficioso. Sin embargo, es fundamental que los creadores de modelos generativos de IA, tanto locales como internacionales, sigan las directrices de desarrollo responsable de la IA.
Por otro lado, es importante enfocarse en los posibles daños de la tecnología en cada caso de uso, especialmente para gestionar su utilización de forma más efectiva. DataRobot puede facilitar la gobernanza al proporcionar herramientas que permitan a los usuarios evaluar sus casos de uso de IA en busca de riesgos relacionados con sesgos, discriminación, toxicidad, daños, rendimiento y costos. Estas características y herramientas pueden ayudar a las organizaciones a garantizar que los sistemas de IA se utilicen de forma responsable y alineados con sus procesos de gestión de riesgos sin limitar la innovación.
## Gobernanza y riesgos de los modelos de código abierto versus cerrado
Otro aspecto importante mencionado que también se incluyó en la reciente orden ejecutiva firmada por el presidente Biden es la falta de transparencia en el desarrollo de modelos. En los sistemas de código cerrado, la organización de desarrollo puede evaluar internamente los riesgos asociados con los modelos generativos de IA desarrollados, manteniendo esta información en secreto. Por otro lado, los modelos de código abierto son más transparentes debido a su diseño disponible abiertamente, permitiendo identificar y corregir problemas potenciales antes de la implementación, aunque no se han investigado exhaustivamente los riesgos potenciales de estos modelos.
Dadas las distintas características de estos sistemas, los enfoques de gobernanza para los modelos de código abierto y cerrado deberían ser diferentes.
## Evite reinventar la confianza en todas las organizaciones
Ante los desafíos de adaptar la IA, es necesario estandarizar el proceso de gobernanza para evitar que todas las organizaciones tengan que crear sus propias medidas. Diversas organizaciones, incluida DataRobot, han establecido marcos para una IA confiable. El gobierno puede liderar la colaboración entre el sector privado, la academia y la sociedad para desarrollar enfoques estandarizados que aborden las preocupaciones y proporcionen procesos de evaluación sólidos para garantizar el desarrollo e implementación de sistemas de IA confiables. La orden ejecutiva reciente sobre el desarrollo y uso seguro de la IA encarga al NIST liderar este esfuerzo colaborativo para establecer pautas y medidas de evaluación que permitan comprender y probar los modelos generativos de IA. La Declaración de Derechos de la IA de la Casa Blanca y el Marco de Gestión de Riesgos de la IA (RMF) del NIST pueden servir como fundamentos para el desarrollo e implementación responsables de la IA. Las herramientas de IA de DataRobot, alineadas con el NIST AI RMF, pueden ayudar a las organizaciones a adoptar prácticas estandarizadas de confianza y gobernanza para la IA generativa y predictiva.