内容过滤

概要

内容过滤，是自动分析用户发布的文字，检测诽谤中伤、威胁、性表达、仇恨言论等有害内容的技术。在社交媒体、论坛、聊天服务等处理用户生成内容（UGC）的服务中，它是一项重要的功能。

过滤的方法

内容过滤有多种方法。基本的方法是关键词匹配，检测禁用词列表中包含的词。实现起来容易，但无法考虑上下文，所以容易出现误判。如果把含有“死”字的发帖全部拦截，像“拼死努力”这样无害的句子也会被检测出来。

基于机器学习的方法，由用大量标注数据训练出的模型考虑上下文进行判定。可以从词的组合和句子的结构，按概率判定一条发帖是否带有有害意图。使用大语言模型（LLM）的过滤，据说能结合更广的上下文进行判定，有时能检测出包含讽刺和隐喻的巧妙的有害发帖。

自动删除和警告方式的设计取舍

如何处理过滤的结果，是关系到服务设计理念的重要判断。自动删除方式，会立刻删除被判定为有害的发帖。运营负担小，但存在因误判而让正当发帖消失的风险。

警告方式，会给被判定为有害的发帖加上警告标记，把最终判断交给人。能防止正当发帖因误判而消失，但箱主需要花工夫确认警告。像提问箱这样接收方是个人的服务，了解提问背景的是接收方，所以把最终判断交给人的方式是一个可选项。

过滤的局限

无论使用多么先进的过滤技术，都不可能 100% 检测出有害内容。语言一直在变化，新的黑话和俚语不断出现。而且同一个表达会因上下文而变得有害或无害，所以完全的自动判定在原理上就很困难。

因此，把内容过滤定位为“减轻负担的工具”而不是“完美的防线”是恰当的。过滤检测出的发帖机械地处理，漏网的发帖由箱主手动删除来应对，这样多层的运营是现实的。