El ataque silencioso a los datos de entrenamiento de IA: cómo foros públicos se convierten en vectores de envenenamiento
Un nuevo paper demuestra que es posible envenenar modelos de lenguaje a través de foros públicos y secciones de comentarios, sin tocar Wikipedia. El ataque aprovecha los crawls webs a escala y sobrevive a los filtros de curado de datos.
Un nuevo estudio publicado en arXiv demuestra que es posible envenenar los datos de entrenamiento de grandes modelos de lenguaje sin tocar Wikipedia ni ninguna fuente de datos curada manualmente. El vector de ataque: los foros públicos, las secciones de comentarios y las interfaces de discusión abiertas que alimentan los crawls webs a escala.
El problema con el viejo enfoque
Los ataques de poisoning en datos de pretraining no son nuevos. Investigadores previos ya mostraron que se podían injectar contenidos maliciosos en Wikipedia y obtener que los modelos los aprendieran. El problema es que Wikipedia es una fuente curada, revisada por humanos, con políticas de edición claras. Es difícil envenenar那里的 contenido de forma sostenida.
Lo que propone Victoria Graf y sus colaboradores en el paper <em>Pretraining Data Can Be Poisoned through Computational Propaganda</em> (arXiv:2607.15267) es diferente: en lugar de atacar una fuente curada, atacan un mecanismo de inyección de contenido que ya existe a escala web: las interfaces de discusión pública.
Foros como vector de ataque
Piensa en hilos de Reddit, comentarios en Medium, posts en Hacker News, secciones de feedback en productos SaaS, hilos de Discourse, issues en GitHub... Todas estas interfaces permiten que cualquier persona con una cuenta cree contenido que será indexado, crawleado y potencialmente incluido en datasets de entrenamiento.
El ataque funciona así: