5 min de lectura
Imagine que su empresa delega mañana la mitad de todas sus tareas rutinarias a una Inteligencia Artificial (IA). Atractivo… hasta que un chatbot publica accidentalmente contratos confidenciales o un agente autónomo elimina por su cuenta una base de datos de pruebas. Que la IA acelere su crecimiento o se convierta en un bumerán depende de su seguridad en IA, como muestra Benjamin Eidam, asesor en IA, docente y ponente en conferencias, en su artículo.
- El 78 % de las empresas encuestadas a nivel mundial ya utilizan IA o planean hacerlo
- Las empresas que combinan automatización de seguridad con IA reducen los costes por brecha de datos en promedio en 2,2 millones de $
- Solo en junio de 2024, la AI Incident Database registró 37 nuevos tipos de daños: desde deepfakes hasta sesgos algorítmicos
En resumen: cada vez más personas en las empresas utilizan IA, y esta puede hacer muchas cosas más seguras, pero también causar daños de formas cada vez más variadas.
En este artículo analizamos dos perspectivas ejemplares que esperamos le brinden una primera impresión fundamentada sobre el tema de la seguridad de la IA en la empresa.
Dos trampas del conocimiento que pueden pillar a cualquiera (¡incluso a usted!)
Conocemos todos este escenario: uno utiliza una IA, se alegra por los resultados rápidos y pasa por alto fácilmente lo que ocurre entre bastidores. Justamente en ese momento pueden quedar errores críticos sin detectar. Al respecto dice un viejo refrán: la ignorancia no exime de responsabilidad. Dos ejemplos concretos muestran cómo la falta de conocimiento sobre IA puede provocar problemas graves:
1. La etiqueta engañosa como factor decisivo
La ‘Agentic AI’ – IA que asume tareas complejas de forma autónoma – se considera la nueva palabra clave para 2025. No es de extrañar: en cinco años, los sistemas de IA han evolucionado desde tareas que requieren 1 segundo hasta actividades que hoy en día llevarían a una persona una hora completa. Suena impresionante. Lo que suele omitirse es que esta IA milagrosa no ofrece resultados fiables. Según uno de los métodos de medición más comunes, solo completa sus tareas correctamente en aproximadamente la mitad de los casos. Aun así, ¡esto mismo se vende como un éxito!
Un empleado que solo cumple el 50 % de su trabajo no recibe una bonificación, sino una conversación aclaratoria con recursos humanos.
El problema radica en el criterio de evaluación: a menudo se mide la IA con „pass@k“ (“¿Funcionó al menos una vez en k intentos?”). Excelente para prototipos, pero a menudo catastrófico en producción real. Una IA verdaderamente operativa necesita „pass^k“: éxitos fiables en cada ejecución individual. Es cierto que probablemente pronto la IA alcance tasas superiores al 99 %, en lugar del 50 % actual. Pero ahora mismo, al menos con agentes, seguimos jugando a la ruleta rusa.
Así que atención: verifique la fiabilidad real, no los aciertos fortuitos.
2. La ilusión de RAG: “Mis PDF no mienten…”
La Generación Aumentada por Recuperación (RAG) suena como garantía de respuestas correctas, ya que la información proviene directamente de sus propios documentos. Pero la realidad es más traicionera: el modelo de IA debe incluir toda la información relevante dentro de una ventana de contexto limitada, y eso no siempre funciona. La prueba del „Needle in a Haystack“ demuestra, por ejemplo, que incluso si la frase correcta está presente, la IA puede pasársela por alto, especialmente en contextos largos o con una colocación desafortunada. Detalles del prompt que parecen irrelevantes a primera vista pueden marcar la diferencia entre una tasa de acierto del 27 % o del 98 %. Así, un LLM puede tener el párrafo correcto justo delante de sus ojos y aun así equivocarse completamente. Aquí también aplica: confiar está bien, pero un prompting estructurado y una evaluación específica son mejores. Y son imprescindibles cuando están en juego dinero y/o vidas.
Este ejemplo muestra cuán peligrosa puede ser la falta de conocimiento en el lugar equivocado, similar al error de pensar que un tenedor y un enchufe son una buena combinación. Y tal como en ese ejemplo literalmente impactante, también con la IA basta un mínimo entendimiento para evitar errores graves. Esto nos lleva a la segunda categoría:
Escenarios de daño que es mejor evitar
La ignorancia es una cosa; el daño intencionado desde fuera es algo completamente distinto. Los sistemas de IA ofrecen una amplia variedad de posibles vectores de ataque. Aquí no se trata de examinarlos todos en detalle, sino de tomar conciencia de su potencial y así poder tomar decisiones informadas. Veamos dos ejemplos:
1. Llamada con deepfake al jefe
Más autonomía significa mayor superficie de ataque: un reto para la seguridad de la IA. Fuente de la imagen: Benjamin Eidam.
Con tan solo tres segundos de audio original, herramientas como Microsoft VALL-E pueden clonar una voz sorprendentemente realista. Estudios demuestran además que las personas solo identifican estas falsificaciones de audio en aproximadamente el 30-50 % de los casos, dependiendo del contexto. En julio de 2025, ni siquiera el secretario de Estado estadounidense Marco Rubio se libró: un estafador utilizó un imitador de voz basado en IA para suplantar a Rubio ante varios colegas. Basta una sola llamada falsa de autorización para mover varios millones. Posible solución preventiva: frases distintivas personales (“catch-phrases”) que permitan verificar rápidamente la identidad del interlocutor. Por ejemplo: Mi primer hámster, Manfred, tenía unos ojos que brillaban como diamantes. O incluso palabras clave únicas en esa conversación específica, como pastel de brócoli (si no se habla con un vendedor de verduras). Acordarlo antes, practicarlo brevemente y ya tendrá protección contra deepfakes de audio.
2. Agentes autónomos, errores autónomos
Cada paso adicional que un agente pueda dar sin supervisión multiplica considerablemente la superficie de ataque. Aquí no solo puede fallar al escribir, sino también durante la investigación autónoma en internet, la interacción con otro software o la integración de resultados en sus propios sistemas, entre muchos otros escenarios donde el agente actúa de forma independiente. En la práctica, esto significa: los sistemas basados en agentes pueden funcionar – y a menudo lo hacen de forma impresionante, como demuestra Genspark. Pero cuanto más autónomo sea un sistema, más exhaustiva, profunda y repetidamente debe probarse – una y otra vez. De lo contrario, uno termina construyendo una versión de ruleta rusa en software.
„Passend dazu sagt ein altes Sprichwort: la ignorancia no exime de responsabilidad.»
¿Qué hacer a partir de aquí?
Saber que la seguridad de la IA no es un tema marginal, sino que conlleva riesgos reales, ya es la mitad del camino: la tan citada concienciación. La otra mitad es actuar – con cabeza, no con pánico.
Quien entienda por qué este tema es crucial (porque de lo contrario datos sensibles, presupuestos o procesos empresariales enteros corren peligro) podrá contrarrestarlo de forma específica: cuestionar procesos, proteger sistemas, sensibilizar equipos y, sobre todo, formarse continuamente.
Así también podrá adaptar su propia rutina laboral para aprovechar las oportunidades de la IA de forma segura, sin asumir riesgos innecesarios.
Fuente de la imagen de portada: Benjamin Eidam
Siga leyendo en cloudmagazin.com
- DevSecOps: la seguridad como componente integral del desarrollo en la nube
- Enfoque de IA federada en lugar de modelo único: Zoom y NVIDIA reestructuran el uso de IA empresarial
- El gasto en ciberseguridad en Alemania crece en dos dígitos
Más sobre el tema: Más artículos en mybusinessfuture
