En esta Campaña, Los ciberdelincuentes eluden la prohibición de X de incluir enlaces en mensajes promocionados (con el objetivo de Lucha contra la publicidad maliciosa) publicando vídeos llamativos. Este es el tipo de ataque en el que los actores de amenazas dan instrucciones maliciosas disfrazadas de comandos de un usuario legítimo, pegan su enlace malicioso en el campo “De” debajo del video y le preguntan a Grok de dónde vino el video. Grok lee el mensaje, reconoce el pequeño enlace y lo refuerza en su respuesta, dándole una falsa sensación de legitimidad ya que se replica desde la misma cuenta de chatbot verificada.
“Este caso no es sólo uno comenta Camilo Gutiérrez Amaya, jefe del Laboratorio de Investigación de ESET Latinoamérica.
¿Por qué es peligrosa esta técnica?
- Este truco convierte a Grok en un actor malicioso al hacer que vuelva a publicar un enlace de phishing.
- Estas publicaciones de vídeo pagas a menudo alcanzan millones de impresiones y potencialmente propagan estafas y malware por todas partes.
- Dado que Grok es una fuente muy confiable, la optimización de los motores de búsqueda y la reputación del dominio también mejoran.
- Los equipos de investigación encontraron cientos de cuentas que repetían este proceso hasta ser baneadas.
- Los propios enlaces redirigen a formularios de robo de credenciales y descargas de malware, lo que puede llevar a la apropiación de la cuenta de la víctima, el robo de identidad y más.
“La IA es un amplificador de la ingeniería social en dos sentidos. Por un lado, se pueden utilizar grandes modelos de lenguaje para diseñar campañas de phishing a gran escala, muy convincentes, con audios y vídeos falsos que consiguen engaños más veraces que pueden engañar al usuario más escéptico. Por otro lado, este nuevo descubrimiento propició el abuso del chatbot X (grok), técnica apodada “Grokking*”, que sería otra forma de explotar GenAI. por ciberdelincuentes”, agrega Gutiérrez Amaya de ESET.
Este tipo de ataques están aumentando. La empresa de análisis. Gartner explicó Recientemente, un tercio (32%) de las organizaciones informaron haber recibido una única inyección durante el año pasado. hay muchos otros escenarios posibles donde podría suceder algo similar al caso de uso de Grok/X.
Los mensajes maliciosos se pueden ocultar a la vista en texto blanco, metadatos o incluso caracteres Unicode. Cualquier GenAI que busque datos disponibles públicamente para proporcionar respuestas también es vulnerable a procesar datos “envenenados” para generar contenido malicioso. Hay un número ilimitado de variaciones de esta amenaza. Desde ESET comentan que lo más importante es no confiar ciegamente en los resultados de una herramienta GenAI.
ESET ofrece las siguientes recomendaciones:
- Cuando un bot GenAI muestra un enlace, coloque el cursor sobre él para verificar la URL de destino real. No hagas clic si tienes dudas sobre su legitimidad.
- Sea siempre escéptico con respecto a los resultados de la IA, especialmente si la respuesta/sugerencia no coincide.
- Utilice contraseñas seguras y únicas (almacenadas en un administrador de contraseñas) y autenticación multifactor (MFA) para reducir el riesgo de robo de credenciales.
- Asegúrese de que todo el software y los sistemas operativos estén presentes en los dispositivos/computadoras. estan actualizadospara minimizar el riesgo de explotar vulnerabilidades de seguridad.
- Invierta en software de seguridad multicapa de un proveedor confiable para bloquear descargas de malware, estafas de phishing y otras actividades sospechosas en su computadora.
“Las herramientas de IA integradas han abierto un nuevo frente en la larga batalla contra el phishing. Asegúrese de no caer en la trampa, siempre haga preguntas y nunca asuma que tiene las respuestas correctas”. concluye el investigador de ESET.
