Cómo funciona el filtrado: la técnica que detecta preguntas inapropiadas

Por qué hace falta el filtrado automático

Cuando el dueño del buzón abre el panel, lo primero que ve es la lista de preguntas recibidas. La gran mayoría son preguntas con buena intención, pero a veces se cuelan preguntas inapropiadas con difamación, amenazas o contenido sexual.

El simple hecho de que el dueño del buzón vea estas preguntas inapropiadas le causa un daño psicológico. Sobre todo, si cada vez que abre el buzón de preguntas se encuentra con textos agresivos, llevar el buzón se convierte en un sufrimiento.

La función de filtrado pone automáticamente una marca de advertencia a las preguntas inapropiadas y así reduce el riesgo de que el dueño del buzón se encuentre de golpe con textos agresivos. Con las preguntas que llevan marca de advertencia, el dueño del buzón puede elegir entre revisarlas después de prepararse mentalmente o borrarlas sin mirarlas.

Una idea clave del diseño es que la función de filtrado no usa el «borrado automático», sino los «avisos». Con el borrado automático, preguntas que según el contexto no tienen ningún problema se borrarían por error. La decisión final se deja en manos del dueño del buzón, y el filtrado se limita a su papel de «llamar la atención».

Lo básico de la comparación por palabras clave y sus límites

El método más básico de filtrado es la comparación por palabras clave. Se compara el texto de la pregunta enviada con una lista de palabras y frases inapropiadas definida de antemano (una lista negra) y, si hay coincidencias, se pone un aviso.

Por ejemplo, las palabras claramente agresivas como «muérete», «te voy a matar» o «fea» se pueden detectar con mucha precisión mediante la comparación por palabras clave. Además, es sencilla de implementar y rápida de procesar.

Sin embargo, la comparación por palabras clave tiene límites de fondo. Primero, no puede con las reformulaciones ni con las palabras en clave. Los atacantes la esquivan metiendo espacios, como en «m u é r e t e», o sustituyendo letras, como en «mu3rete». Segundo, no puede tener en cuenta el contexto. «Fue para morirse de risa» no es una expresión agresiva, pero coincide con la palabra clave «morir» y se detecta por error.

Por eso, en el filtrado real lo habitual es combinar la comparación por palabras clave con métodos de análisis más avanzados.

Análisis que tiene en cuenta el contexto

Lo que compensa los límites de la comparación por palabras clave es el análisis que tiene en cuenta el contexto. Es un método que no evalúa las palabras por separado, sino el sentido y el tono de la frase completa.

Como ampliación de la búsqueda de patrones está la evaluación de combinaciones de palabras. «Muérete» por sí sola es agresiva, pero expresiones hechas como «para morirse de risa» o «morirse de ganas» no lo son. Si estas expresiones hechas se tratan como excepciones, se reducen los falsos positivos.

La estructura de la frase también es una pista. Los imperativos y las afirmaciones tajantes, como «eres un X» o «haz X», son estructuras que se usan con frecuencia en contextos agresivos. En cambio, las preguntas como «¿me cuentas algo sobre X?» o «¿qué opinas de X?» normalmente no son agresivas.

También se usa mucho la puntuación. Es un método que no pone un aviso solo porque coincida una palabra clave, sino que puntúa en conjunto varios indicadores (el número de palabras clave agresivas, la estructura de la frase, el abuso de signos de exclamación, etc.) y solo pone un aviso cuando se supera cierto nivel. Así se reducen mucho los falsos positivos como «fue para morirse de risa» y, a la vez, se pueden detectar con seguridad los ataques claros como «ojalá te murieras».

El equilibrio entre los falsos positivos y lo que se escapa

Al hablar de la precisión del filtrado, hay que distinguir 2 tipos de error.

El «falso positivo» es el error de considerar inapropiada una pregunta que no tiene ningún problema. El caso de que «me morí de risa» reciba un aviso es un ejemplo. Si hay muchos falsos positivos, el dueño del buzón deja de fiarse de los avisos y acaba desactivando la propia función de filtrado.

El «falso negativo» (lo que se escapa) es el error de no detectar una pregunta inapropiada. Son los casos en los que se cuelan la difamación y el acoso reformulados con astucia o las expresiones agresivas que dependen del contexto. Si se escapan muchas, el filtrado pierde su razón de ser.

Si intentas reducir los falsos positivos, se escapan más, y si intentas que se escapen menos, aumentan los falsos positivos. Este es el equilibrio esencial del filtrado.

Muchos de los filtrados que funcionan con avisos se inclinan por «tolerar los falsos positivos antes que lo que se escapa». Ante un falso positivo, basta con que el dueño del buzón decida que «no hay problema» y responda, pero cuando algo se escapa, el dueño del buzón se encuentra de golpe con un texto agresivo. Es una forma de pensar que da prioridad a la seguridad psicológica del dueño del buzón y tolera algunos falsos positivos.

Los límites del filtrado y la importancia del juicio humano

Por muy avanzada que sea la técnica de filtrado, no puede captar por completo la complejidad del lenguaje humano. La ironía, la metáfora y las expresiones que dependen del contexto cultural no se pueden juzgar con precisión solo con un análisis técnico.

Una pregunta como «Ánimo, jaja», a juzgar solo por el texto, es un mensaje de apoyo. Pero según el contexto, puede convertirse en una expresión agresiva cargada de burla. Esta decisión solo puede tomarla una persona que entienda la relación entre el dueño del buzón y el remitente, los intercambios anteriores y el contexto en las redes sociales.

Precisamente por eso, la función de filtrado no usa el «borrado automático», sino los «avisos». La técnica selecciona con eficacia las «preguntas a las que hay que prestar atención», y la decisión final la toma una persona capaz de entender el contexto (el dueño del buzón). Esta colaboración entre las personas y la técnica es la mejor forma de usar el filtrado.

La función de filtrado («Revisión antes de la entrega», en el panel) viene activada desde el principio. Aunque esté activada, las preguntas legítimas nunca se borran automáticamente. Las preguntas que se consideran inapropiadas van a «Retenidas», y todas las preguntas se muestran en el panel del dueño del buzón.