Las implicaciones de los grandes modelos de lenguaje en la seguridad electrónica
La IA ofrece un gran potencial de automatización y ahorro de costos. Sin embargo, ¿es segura la IA? Descubre cómo la inteligencia artificial está evolucionando en nuestra industria.
Los grandes modelos de lenguaje (LLM) están arrasando en todo el mundo. Apenas unos meses después de que OpenAI lanzara su chatbot de inteligencia artificial (IA), ChatGPT, superó los 100 millones de usuarios. Esto la convierte en la aplicación de consumo de más rápido crecimiento de la historia.
No es de extrañarse el por qué. Los LLMs pueden hacer de todo, desde responder preguntas y explicar temas complejos hasta redactar guiones de películas completos e incluso escribir códigos. Si bien la gente de todo el mundo está entusiasmada por esto, también está preocupada por las capacidades de esta tecnología de inteligencia artificial.
Aunque los LLMs se han convertido recientemente en un tema de moda, vale la pena señalar que esta tecnología existe desde hace mucho tiempo. A pesar de los avances en marcha, los LLMs y otras herramientas de IA están creando nuevas oportunidades para impulsar una mayor automatización en diversas tareas. Por eso, es esencial tener una comprensión fundamentada de las limitaciones y los riesgos potenciales de la IA.
Aclaración de la terminología
Inteligencia artificial, aprendizaje automático, aprendizaje profundo: ¿cuáles son las diferencias? ¿Y cómo encajan los grandes modelos de lenguaje?
Inteligencia Artificial (IA)
Inteligencia Artificial
El concepto de simular procesos de la inteligencia humana en máquinas. Se refiere a herramientas y procesos que permiten a las máquinas aprender de la experiencia y adaptarse a nuevas situaciones sin programación explícita. En pocas palabras, machine learning y deep learning pertenecen a la categoría de inteligencia artificial.
Machine learning
Inteligencia artificial que puede adaptarse automáticamente con muy poca interferencia humana.
Procesamiento natural del lenguaje
El proceso de utilizar inteligencia artificial y machine learning para comprender el lenguaje humano y realizar automáticamente tareas repetitivas como revisión ortográfica, traducciones y resúmenes.
Deep learning
Se trata de un subconjunto de machine learning que utiliza redes neuronales artificiales para imitar el proceso de aprendizaje de un cerebro humano.
IA generativa
Permite a los usuarios generar rápidamente contenido basado en una variedad de entradas, como texto y voz, lo que da como resultado una variedad de salidas en forma de imágenes, videos y otros tipos de datos de seguridad.
Large language model (LLM)
Algoritmo de inteligencia artificial que utiliza técnicas de deep learning y se alimenta de cantidades masivas de información de Internet.
¿Cuál es la diferencia entre inteligencia artificial (IA) y automatización inteligente (AI)?
¿Es la IA realmente inteligente? Según nuestro presidente, Pierre Racz, “la IA seguirá dependiendo de la supervisión y el juicio humano durante las próximas décadas. El ser humano proporciona la creatividad y la intuición, y la máquina hace el trabajo pesado.”
Es por esto que la automatización inteligente puede describir con mayor precisión la IA que conocemos hoy. Para mayor claridad, veámoslo en detalle:
La automatización es cuando las tareas, fáciles o difíciles, se realizan sin intervención de personas. Una vez que un proceso se configura en un programa, puede repetirse cuando sea necesario y producir siempre el mismo resultado.
La automatización tradicional requiere una definición clara desde el principio. Cada aspecto, desde la entrada hasta la salida, debe ser planificado y delineado cuidadosamente por una persona. Una vez definido, el proceso automatizado se puede activar para que funcione según lo previsto.
La automatización inteligente (AI) permite que las máquinas realicen procesos simples o complejos, sin necesidad de definirlos explícitamente. La AI recurre a machine learning, como la IA generativa y el procesamiento natural del lenguaje, para sugerir formas de analizar datos o tomar acciones basadas en datos y patrones de uso existentes. Esto brinda a los humanos la información correcta en el momento adecuado y garantiza que puedan concentrarse en las actividades principales en lugar de dedicarse a patrones y análisis de datos.
Este es un breve resumen de las diferencias:
- La inteligencia artificial es una herramienta. La automatización inteligente se trata de resultados.
- Donde la IA es el medio, la AI es el fin.
- Combinamos la IA con otras herramientas como la automatización para lograr un resultado, que es la AI.
¿Cuáles son los riesgos de los grandes modelos de lenguaje?
Hace un tiempo, Sam Altman, CEO de OpenAI, admitió deficiencias alrededor de sesgos que pusieron en duda la seguridad de ChatGPT. Los investigadores también descubrieron que impulsar los grandes modelos de lenguaje con identidades como "mala persona", o incluso ciertas figuras históricas, genera un aumento de seis veces en las respuestas tóxicas y dañinas del modelo de machine learning.
¿Son seguros los grandes modelos de lenguaje? Al sopesar los riesgos de los LLMs, es importante considerar esto: los grandes modelos de lenguaje están entrenados para satisfacer al usuario como su primera prioridad. Los LLMs también utilizan un método de entrenamiento de IA no supervisado para alimentar una gran cantidad de datos aleatorios de Internet. Esto significa que las respuestas que dan no siempre son precisas, veraces o libres de prejuicios. Todo esto se vuelve extremadamente peligroso en un contexto de seguridad.
De hecho, este método de IA no supervisado ha abierto la puerta a lo que ahora se denominan “alucinaciones de la verdad”. Esto sucede cuando un modelo de IA genera respuestas que parecen plausibles, pero que no son objetivas ni están basadas en datos del mundo real.
El uso de los LLMs también puede crear graves riesgos de privacidad y confidencialidad. Este modelo puede aprender de datos que contienen información confidencial sobre personas y empresas. Dado que cada mensaje de texto se utiliza para entrenar la siguiente versión, esto significa que alguien que pregunte al LLM sobre contenidos similares podría tener acceso a esa información confidencial a través de respuestas del chatbot de IA.
Luego, están los abusos malintencionados de esta tecnología de IA. Consideremos cómo individuos malintencionados con poco o ningún conocimiento de programación podrían pedirle a un chatbot de IA que escriba un código que aproveche una vulnerabilidad conocida o solicite una lista de formas de hackear aplicaciones o protocolos específicos. Aunque estos son ejemplos hipotéticos, uno no puede evitar preguntarse cómo se podrían explotar estas tecnologías de maneras que aún no podemos anticipar.
¿Cómo están evolucionando los grandes modelos de lenguaje en el espacio de la seguridad electrónica?
Ahora que los grandes modelos de lenguaje (LLM) están generando mucho revuelo, existe la sensación de que la IA puede hacer que todo sea posible, como por arte de magia. Sin embargo, no todos los modelos de IA son iguales ni avanzan al mismo ritmo.
Los grandes modelos de lenguaje, de machine learning y deep learning, están generando resultados basados en probabilidades. Si analizamos específicamente y en profundidad los grandes modelos de lenguaje, su objetivo principal es proporcionar la respuesta más plausible a partir de un volumen masivo e indiscriminado de datos. Como ya lo mencionamos, esto puede provocar desinformación o alucinaciones de IA.
En el espacio de la seguridad electrónica, los algoritmos de machine learning y deep learning no dependen de la IA generativa, que puede inventar información. En cambio, los modelos de IA están diseñados para detectar patrones y clasificar datos. Dado que estos resultados todavía se basan en la probabilidad, necesitamos que los humanos se mantengan informados y tomen sus decisiones finales con base en lo que es verdad y lo que no lo es.
Dicho esto, lo mismo ocurre con todos los resultados beneficiosos de los LLMs. Para las aplicaciones de seguridad, podría haber un futuro en el que los operadores puedan utilizar un modelo de lenguaje de IA dentro de una plataforma de seguridad para obtener respuestas rápidas, como preguntar "¿cuántas personas hay en el tercer piso en este momento?" o "¿cuántas credenciales de visitante entregamos el mes pasado? También se puede utilizar para ayudar a las organizaciones a crear políticas de seguridad o mejorar detalles en sus protocolos de respuesta.
Independientemente de cómo se utilicen los modelos de lenguaje de IA, una cosa es segura: los casos de uso de seguridad van a requerir enfoques en los que los modelos se ejecuten en un entorno más contenido. Entonces, si bien hay mucho entusiasmo alrededor de los LLMs en este momento, aún queda mucho por hacer para que sean seguros y factibles para aplicaciones de seguridad electrónica.
¿Cómo se está implementando la IA en el espacio de la seguridad electrónica?
Quizás los LLMs sean una prioridad en este momento, pero el uso de la IA en la seguridad electrónica no es nuevo. Hay una variedad interesante de formas en las que se utiliza la IA para soportar diversas aplicaciones.
Los siguientes son algunos ejemplos de cómo se utiliza actualmente la IA en la seguridad electrónica:
Para acelerar las investigaciones
Explorar videos de un período específico para encontrar todas las imágenes con un vehículo rojo.
Automatización del conteo de personas
Recibir alertas sobre los umbrales máximos de aforo en un edificio o saber cuándo las filas de clientes son demasiado largas para mejorar el servicio.
Detección de placas vehiculares.
Rastreo de vehículos buscados, optimización del estacionamiento de empleados en oficinas o monitoreo del flujo de tráfico en las ciudades.
Mejora de la ciberseguridad
Fortalecimiento de la protección antivirus en dispositivos utilizando machine learning para identificar y bloquear la ejecución de malware conocido y desconocido en los puntos finales.
SECURITY CENTER SAAS
Adoptando la automatización inteligente
Para la mayoría de las empresas, la implementación de la IA se reduce a un par de factores determinantes: lograr análisis de datos a gran escala y mayores niveles de automatización. En una época en la que todo el mundo habla de transformación digital, las organizaciones quieren aprovechar sus inversiones y datos en seguridad electrónica para aumentar la productividad, mejorar las operaciones y reducir costos.
La automatización también puede ayudar a las organizaciones a cumplir con diversos estándares y regulaciones de la industria y, al mismo tiempo, reducir el costo del cumplimiento regulatorio. Esto se debe a que deep learning y machine learning ofrecen el potencial de automatizar el procesamiento de una gran cantidad de datos y flujos de trabajo, al mismo tiempo que dirigen a los operadores hacia información relevante. Esto les permite responder rápidamente a las interrupciones de las operaciones del negocio y tomar mejores decisiones.
Por ejemplo, la IA se está democratizando cada vez más a través de diversas soluciones de analíticas de video. Hoy en día, las tiendas pueden utilizar analíticas de flujo direccional o detección de líneas cruzadas para rastrear el comportamiento de los compradores. Los estadios deportivos pueden identificar automáticamente los cuellos de botella para facilitar el tráfico peatonal durante los intermedios. Las organizaciones también pueden utilizar las analíticas de conteo de personas para rastrear los niveles de aforo y cumplir con las normas de seguridad en evolución.
¿Demasiado bueno para ser cierto?
Incluso con estas soluciones listas para usar, todavía existen muchos mitos sobre lo que la IA puede y no puede hacer. Por eso es importante que los profesionales comprendan que la mayoría de las soluciones de IA en seguridad electrónica no son adecuadas para todos. Esto es especialmente cierto para quienes buscan aprovechar las técnicas de IA para resolver problemas comerciales específicos.
Automatizar tareas o alcanzar un resultado deseado es un proceso para determinar la viabilidad técnica. Implica identificar las soluciones existentes, otras tecnologías que podrían ser necesarias y posibles problemas de compatibilidad que resolver u otros factores ambientales a considerar.
Incluso al evaluar la factibilidad, algunas organizaciones pueden preguntarse si la inversión justifica el resultado. Entonces, si bien la IA es un componente clave para alcanzar niveles más altos de automatización en la industria de la seguridad electrónica, todavía se requiere mucha consideración, previsión y planificación para lograr resultados precisos.
En otras palabras, es crucial ser cauteloso al explorar nuevas soluciones de IA y sopesar con pensamiento crítico y diligencia los resultados prometidos.
¿Cuáles son las mejores formas de aprovechar la IA en la seguridad electrónica hoy en día?
Las aplicaciones basadas en IA están avanzando de maneras nuevas y apasionantes. Prometen ayudar a los negocios a alcanzar resultados comerciales específicos que aumenten la productividad, la protección y la seguridad en toda la organización.
Una de las mejores formas de aprovechar los nuevos avances de la IA en seguridad electrónica es implementando una plataforma de seguridad abierta. La arquitectura abierta brinda a los profesionales de la seguridad la libertad de explorar aplicaciones de inteligencia artificial que generen el mayor valor en sus operaciones. A medida que las soluciones de IA llegan al mercado, los líderes pueden probar estas aplicaciones, a menudo de forma gratuita, y seleccionar las que mejor se adapten a sus objetivos y su entorno.
Sin embargo, junto con el surgimiento de nuevas oportunidades, también aparecen nuevos riesgos. Por eso es igualmente importante asociarse con organizaciones que prioricen la protección de datos, la privacidad y el uso responsable de la IA. Esto no sólo ayudará a mejorar la ciberresiliencia y fomentar una mayor confianza en tu negocio, sino que también es parte de ser socialmente responsable.
En el reporte de IBM titulado AI Ethics in Action, el 85% de los consumidores dijeron que es importante que las organizaciones tengan en cuenta la ética al utilizar la IA para abordar los problemas de la sociedad. El 75% de los ejecutivos cree que lograr una correcta ética en la IA puede diferenciar a una empresa de sus competidores. Más del 60% de los ejecutivos consideran que la ética de la IA ayuda a sus organizaciones a desempeñarse mejor en cuestiones de diversidad, inclusión, responsabilidad social y sostenibilidad.
Otro estudio reciente de Amazon Web Services (AWS) y Morning Consult reveló que el 77% de los encuestados reconoce la importancia de la IA responsable. Si bien el 92% de las empresas dijeron que planean utilizar soluciones impulsadas por IA para 2028, casi un 47% dijeron que planean aumentar su inversión en IA responsable en 2024. Más de un tercio (35%) cree que el uso irresponsable de la IA podría costarle a su empresa al menos 1 millón de dólares o poner en peligro su negocio.
Cómo Genetec considera la privacidad y la gobernanza de datos utilizando IA responsable
Dado que los algoritmos de IA pueden procesar grandes cantidades de datos de forma rápida y precisa, la IA se está convirtiendo en una herramienta cada vez más importante para las soluciones de seguridad electrónica. Sin embargo a medida que la IA evoluciona, magnifica la capacidad de utilizar información personal de maneras que pueden invadir la privacidad.
Los modelos de IA también pueden producir, sin darse cuenta, decisiones sesgadas o resultados basados en diversos sesgos. Esto puede afectar las decisiones y, en última instancia, llevar a la discriminación. Si bien la IA tiene el poder de revolucionar la forma en que se realiza el trabajo y la forma en que se toman las decisiones, es necesario implementarla de manera responsable.Después de todo, la confianza es esencial para el crecimiento continuo y la sostenibilidad de nuestro mundo digital. ¿Y la mejor manera de generar confianza? Asociarse con organizaciones que prioricen la protección de datos, la privacidad y el uso responsable de la IA.
Es por eso que nuestro equipo en Genetec se toma en serio la IA responsable. De hecho, hemos ideado un conjunto de principios básicos para crear, mejorar y mantener nuestros modelos de IA. Estos se basan en los siguientes tres pilares:
 |
Privacidad y gobernanza de datos |
Como proveedores de tecnología, asumimos la responsabilidad de cómo utilizamos la IA en el desarrollo de nuestras soluciones. Esto significa que sólo utilizamos los conjuntos de datos que respetan las regulaciones correspondientes de protección de datos. Siempre que sea posible, anonimizamos los conjuntos de datos y obtenemos de forma ética y almacenamos de forma segura los datos utilizados para entrenar modelos de aprendizaje automático. También tratamos los conjuntos de datos con el máximo cuidado y tenemos en cuenta la protección y la privacidad de los datos en todo lo que hacemos.Esto incluye cumplir con estrictas medidas de autorización y autenticación para garantizar que las personas equivocadas no accedan a datos e información confidenciales en nuestras aplicaciones basadas en IA. Estamos comprometidos en brindarles a nuestros clientes herramientas integradas que les ayuden a cumplir con las cambiantes regulaciones de IA.
 |
Confiabilidad y seguridad |
A medida que desarrollamos y utilizamos modelos de IA, siempre pensamos en cómo podemos minimizar los sesgos. Nuestro objetivo es asegurarnos de que nuestras soluciones siempre brinden resultados equilibrados y equitativos. Parte de garantizar esto significa que probamos rigurosamente nuestros modelos de IA antes de compartirlos con nuestros clientes. También trabajamos fuerte en mejorar continuamente la precisión y confianza de nuestros modelos. Finalmente, nos esforzamos para que nuestros modelos de IA sean justificables. Esto significa que cuando nuestros algoritmos de IA decidan o proporcionen un resultado, podremos decirles a nuestros clientes exactamente cómo llegaron a esa conclusión.
 |
Humanos en el circuito |
En Genetec, nos aseguramos de que nuestros modelos de IA no puedan tomar decisiones críticas por sí mismos. Creemos que un ser humano siempre debe estar al tanto y tener la última palabra. Esto porque en un contexto de seguridad electrónica, priorizar la toma de decisiones centrada en el ser humano es fundamental. Piensa en situaciones de vida o muerte en las que los humanos comprenden de forma innata los peligros en juego y realizan las acciones necesarias para salvar una vida. Las máquinas simplemente no pueden comprender las complejidades de los eventos de la vida real como lo hace un operador de seguridad, por lo que depender únicamente de modelos estadísticos no puede ser la respuesta. Esta también es la razón por la que siempre buscamos empoderar a las personas a través recursos avanzados. Eso significa que nuestros sistemas siempre deben generar conocimientos para mejorar la capacidad humana de juicio.
