Agosto 1, 2023
El uso de la inteligencia artificial generativa (GenAI) demanda cambios y adaptaciones constantes y rápidos para desarrolladores de IA, usuarios comerciales, inversionistas, legisladores y ciudadanos.
Para obtener los máximos beneficios de esta tecnología innovadora, es necesario gestionar la amplia gama de riesgos que plantea de manera integral, considerando el negocio en su conjunto. Ya han surgido riesgos en áreas como la privacidad, la ciberseguridad, el cumplimiento normativo, las relaciones con terceros, las obligaciones legales y la propiedad intelectual.
Demostrar un equilibrio entre los riesgos y las recompensas de la innovación será crucial para garantizar la confianza en las empresas y obtener una ventaja competitiva.
Los profesionales en gestión de riesgos pueden ayudar a las empresas a utilizar la IA generativa de manera segura y resiliente. Pueden asegurarse de que se garantice adecuadamente la privacidad, que se manejen los sesgos perjudiciales de manera justa, que sea válido y confiable, responsable y transparente, y que sea explicable e interpretable. En otras palabras, que sea digna de confianza.
Aunque cada ejecutivo y usuario desempeña un papel importante, son estos líderes clave de la alta dirección (C-suite) quienes activarán la Inteligencia Artificial de manera responsable. Su enfoque se centrará en ofrecer confianza desde la planeación, no solo centrándose en la velocidad, convirtiéndola así en una propuesta de valor para clientes, inversionistas, socios comerciales, colaboradores y la sociedad en general.
Te puede interesar: Diez principios para una IA ética
A continuación, se presenta una descripción general de los riesgos en los que cada líder podrá enfocarse. Para obtener una discusión más completa, le recomendamos consultar el libro completo de jugadas de riesgo de GenAI:
La IA generativa puede reducir las barreras de entrada para los actores de amenazas ¿El riesgo más inmediato a tener en cuenta? El phishing es cada vez más sofisticado. Se han observado señuelos personalizados sumamente convincentes utilizados en chats, videos o incluso audios falsos generados en tiempo real, donde los ciberdelincuentes pretenden ser personas familiares o figuras de autoridad.
Para el CISO, contar con GenAI representa un valioso activo para hacer frente a estas amenazas y gestionarlas eficazmente dentro de la organización. Existe la posibilidad de que los actores de amenazas manipulen los sistemas de inteligencia artificial para generar predicciones incorrectas o negar el servicio a los clientes. Por ello, es crucial contar con sólidas protecciones de ciberdefensa que salvaguarden el lenguaje patentado, modelos fundamentales, datos y contenido nuevo.
El panorama de ciberseguridad exige una respuesta proactiva y bien fundamentada, y GenAI puede convertirse en un aliado clave en la protección de los recursos y la garantía de la confianza hacia los clientes.
Estos líderes deberían prestar especial atención a cómo GenAI puede exacerbar los riesgos relacionados con datos y privacidad. Después de todo, la promesa de los grandes modelos de lenguaje radica en su capacidad para utilizar una gran cantidad de datos y generar incluso más información nueva, lo cual los hace vulnerables a problemas como el sesgo, la baja calidad, el acceso no autorizado y la pérdida de datos.
Un problema importante que algunas empresas ya enfrentan es el ingreso de datos confidenciales por parte de empleados en modelos de IA generativos de acceso público. GenAI, al poder almacenar indefinidamente información de entrada y utilizarla para entrenar otros modelos, podría infringir las normas de privacidad que restringen los usos secundarios de datos personales.
Para mitigar estos riesgos, es crucial que el equipo de datos y privacidad establezca controles y salvaguardias sólidas, asegurando el cumplimiento de las regulaciones y la protección adecuada de la información sensible. La implementación de políticas claras y una capacitación efectiva para los empleados sobre el manejo responsable de datos se vuelve imprescindible para garantizar la confianza y el cumplimiento de las normas de privacidad en el entorno de GenAI.
Director de cumplimiento
Se está desarrollando un enfoque ágil, colaborativo, regulatorio y de respuesta con la IA generativa, lo que podría implicar un ajuste significativo para los oficiales de cumplimiento. Es crucial mantenerse al día con las nuevas regulaciones y aplicar de manera más estricta las normativas existentes que se aplican a la IA generativa.
Sin un gobierno y supervisión adecuados, el uso de la IA generativa por parte de una empresa puede generar o agravar riesgos legales. Por ejemplo, medidas laxas de seguridad de datos podrían exponer públicamente secretos comerciales, información de propiedad y datos de clientes. Además, una revisión insuficiente de los resultados generativos de IA podría dar lugar a imprecisiones, incumplimiento de normativas, contratos vulnerados, infracción de derechos de autor, alertas de fraude erróneas, investigaciones internas defectuosas, comunicaciones perjudiciales con los clientes y daños a la reputación.
Para abordar y defenderse de los problemas relacionados con GenAI, los equipos legales deberán adquirir una comprensión técnica más profunda, un conocimiento que normalmente los abogados no suelen tener.
La auditoría se convertirá en un mecanismo clave de gobierno para confirmar que los sistemas de IA están diseñados e implementados de acuerdo con los objetivos de la empresa. Sin embargo, para crear un plan de auditoría basado en riesgos específico para la IA generativa, el equipo de Auditoría Interna debe diseñar y adoptar nuevas metodologías, formas de supervisión y conjuntos de habilidades.
Evaluar los riesgos que plantean los sistemas de IA generativa resulta difícil e ineficaz si se hace de manera independiente del contexto en el que se implementan. Por lo tanto, comprender el problema que la empresa busca resolver con GenAI se convierte en un punto de partida crucial para abordar adecuadamente estos desafíos.
Es esencial que el equipo de Auditoría Interna colabore estrechamente con los responsables de la implementación de la IA generativa y otros departamentos relevantes para obtener una visión completa de cómo se integra la tecnología en el entorno empresarial. De esta manera, podrán identificar los riesgos específicos, desarrollar estrategias de auditoría efectivas y garantizar el cumplimiento de los objetivos y regulaciones de la empresa.
La adaptación a las demandas de la IA generativa requerirá una mentalidad ágil y una disposición a aprender y crecer continuamente, lo que permitirá a la Auditoría Interna desempeñar un papel fundamental en el gobierno efectivo de la IA generativa dentro de la organización.
Sin un gobierno y supervisión adecuados, el uso de GenAI por parte de una empresa puede generar o agravar los riesgos financieros. Un uso incorrecto de esta tecnología expone a la empresa al riesgo de cometer errores de razonamiento y una dependencia excesiva en los resultados que requieren cálculos numéricos. Estos riesgos de alto impacto son desafíos a los que los CFO se enfrentan en el curso de sus funciones normales, especialmente en un entorno regulado.
Los errores en la información financiera, altamente visibles e involuntarios, pueden resultar en la pérdida de confianza de clientes, inversionistas, reguladores y otras partes interesadas, lo que puede ocasionar graves daños a la reputación de la empresa. La recuperación de esta reputación puede ser costosa y prolongada.
Es vital que los CFO y otros líderes financieros establezcan una rigurosa gobernanza y supervisión en el uso de GenAI. Esto implica la implementación de controles y verificaciones exhaustivas para garantizar la precisión y confiabilidad de los resultados generados por la IA. Asimismo, la capacitación y actualización constante del personal sobre el manejo adecuado de GenAI son fundamentales para mitigar los riesgos financieros asociados.
Contar con una estrategia de gobierno de IA efectiva será vital, y diversas personas dentro y fuera de su organización pueden influir en su capacidad para utilizar la IA generativa de manera responsable. Estos actores clave incluyen científicos e ingenieros de datos, proveedores de datos, especialistas en el campo de la diversidad, la equidad, la inclusión y la accesibilidad, diseñadores de experiencia de usuario, líderes funcionales y gerentes de producto.
Te puede interesar: La IA generativa empuja los límites de la IA responsable
Considerar la implicación moral de los usos de datos e IA y codificarlos en los valores de la organización.
Anticipar y comprender las políticas públicas clave y las tendencias regulatorias para alinear los procesos de cumplimiento.
Habilitar la supervisión de los sistemas en las tres líneas de defensa.
Cumplir con la regulación, las políticas organizacionales y los estándares de la industria.
Ampliar las prácticas de detección y mitigación de riesgos de transición para abordar los riesgos y daños exclusivos de IA.
Habilitar un modelo transparente para la toma de decisiones.
Minimizar el impacto negativo al medio ambiente y empoderar a las personas.
Habilitar un sistema confiable y de alto rendimiento.
Definir/medir la equidad y probar los sistemas frente a los estándares.
Mejorar la ciberseguridad de los sistemas.
Desarrollar sistemas que preserven la privacidad de los datos.
HDiseñar y probar sistemas para prevenir daños físicos.
Identificar el problema concreto a resolver y si requiere una solución IA/ML.
Seguir los estándares de la industria y las mejores prácticas.
Evaluar el rendimiento del modelo y continuar iterando en el diseño y desarrollo para mejorar las métricas.
Implementar un monitoreo continuo para identificar brechas y riesgos.
Las partes interesadas deben unirse para considerar todos los efectos y desafíos de incorporar cada nueva solución de IA generativa.
En última instancia, la promesa de la IA generativa recae en su gente. Invierta en ellos para que comprendan los límites del uso de esta tecnología como asistente, copiloto o tutor, mientras aprovechan y realizan su potencial. Permite que tu personal aplique su conocimiento y experiencia para evaluar críticamente los resultados de los modelos generativos de IA después de haber implementado las medidas de seguridad y riesgo adecuadas para tu empresa. Cada usuario inteligente puede convertirse en un administrador de confianza.
Este artículo se basa en el artículo “Managing the risks of generative AI” de PwC US. Esta versión es organizada y revisada por PwC Colombia.
