Filtrado de contenido

Resumen

El filtrado de contenido es una tecnología que analiza de forma automática los textos que publican los usuarios y detecta contenido dañino, como difamación, amenazas, expresiones sexuales o discursos de odio. Es una función importante en los servicios que manejan contenido generado por los usuarios (UGC), como las redes sociales, los foros y los servicios de chat.

Métodos de filtrado

Hay varios métodos de filtrado de contenido. El método básico es la búsqueda de palabras clave, que detecta las palabras incluidas en una lista de palabras prohibidas. Es fácil de implementar, pero como no puede tener en cuenta el contexto, tiende a producir falsos positivos. Si bloqueas todas las publicaciones que contienen la palabra «muero», también se detectan frases inofensivas como «me muero de risa».

En los métodos basados en aprendizaje automático, un modelo entrenado con una gran cantidad de datos etiquetados juzga teniendo en cuenta el contexto. A partir de las combinaciones de palabras y de la estructura de las frases, puede juzgar de forma probabilística si una publicación tiene intención dañina. Se considera que el filtrado con grandes modelos de lenguaje (LLM) puede juzgar teniendo en cuenta un contexto más amplio, y a veces puede detectar publicaciones dañinas sutiles que contienen ironía o metáforas.

La decisión de diseño entre el borrado automático y el aviso

Cómo tratar el resultado del filtrado es una decisión importante que tiene que ver con la filosofía de diseño del servicio. El sistema de borrado automático elimina al instante las publicaciones que se juzgan dañinas. La carga de gestión es baja, pero existe el riesgo de que desaparezcan publicaciones legítimas por falsos positivos.

El sistema de aviso pone una marca de aviso en las publicaciones que se juzgan dañinas y deja la decisión final a una persona. Evita que desaparezcan publicaciones legítimas por falsos positivos, pero el dueño del buzón tiene el trabajo de revisar los avisos. En servicios como el buzón de preguntas, en los que quien recibe es un particular, quien conoce el contexto de la pregunta es quien la recibe, así que dejar la decisión final a una persona es una opción.

Los límites del filtrado

Por muy avanzada que sea la tecnología de filtrado que uses, es imposible detectar el 100 % del contenido dañino. El lenguaje cambia constantemente y no paran de surgir nuevas jergas y argot. Además, como una misma expresión puede ser dañina o inofensiva según el contexto, un juicio totalmente automático es difícil por principio.

Por eso, lo adecuado es situar el filtrado de contenido no como un «muro perfecto», sino como una «herramienta que reduce la carga». Lo realista es una gestión en varias capas: tratar de forma mecánica las publicaciones que el filtrado ha podido detectar y ocuparse de las que se cuelan con el borrado manual del dueño del buzón.