过滤功能的原理：自动识别不当提问的技术

更新：2026-10-11 · 阅读约 2 分钟

为什么需要自动过滤

提问箱的箱主打开管理页面时，最先看到的是收到的提问列表。大多数提问出于善意，但其中有时会混有包含诽谤中伤、威胁、性暗示表达的不当提问。

箱主看到这些不当提问本身，就会造成心理上的伤害。尤其是每次打开提问箱都有攻击性的文字扑面而来，这种状态一旦持续，运营提问箱本身就会变成一种痛苦。

过滤功能会自动给不当提问加上警告标记，从而降低箱主冷不防看到攻击性文字的风险。对于带警告标记的提问，箱主可以选择做好心理准备后再查看，或者不看直接删除。

一个重要的设计理念是：过滤功能采用的是“警告”方式，而不是“自动删除”。如果自动删除，有些在上下文中并无问题的提问会被误删。最终判断交给箱主，过滤只专注于“提醒注意”的角色。

过滤最基本的方法是关键词匹配。把预先定义的不当词语和短语列表（黑名单）与发来的提问文字进行比对，如果有匹配的内容就加上警告。

例如，“去死”“杀了你”“丑八怪”这类明显带有攻击性的词语，用关键词匹配就能高精度地识别出来。实现简单，处理速度也快。

但是，关键词匹配有根本性的局限。第一，它无法应对换说法和暗语。攻击者会像“去死”这样插入空格，或者用形近的字替换，从而绕过关键词匹配。第二，它无法考虑上下文。“笑死我了”并不是攻击性的表达，但因为与“死”这个关键词匹配，就会被误报。

因此在实际的过滤中，一般不只用关键词匹配，还会组合使用更高级的分析方法。

弥补关键词匹配局限的，是考虑上下文的分析。这种方法不看单个词语，而是评估整句话的意思和语气。

作为模式匹配的扩展，有一种方法是评估词语的组合。“去死”单独出现是攻击性的，但“笑死”“拼死”这样的惯用说法并没有攻击性。把这些惯用说法作为例外处理，就能减少误报。

句子的结构也是线索。“你就是 X”“给我去 Y”这样的命令句和断定句，是容易用在攻击性语境中的结构。另一方面，“请告诉我关于 X 的事”“你怎么看 Y”这样的疑问句，通常没有攻击性。

评分方式也很常用。这种方式不会因为匹配到 1 个关键词就加上警告，而是对多个指标（攻击性关键词的数量、句子结构、感叹号的大量使用等）进行综合评分，只有超过一定水平时才加上警告。这样既能大幅减少“笑死我了”这样的误报，又能可靠地识别出“你这种人去死算了”这样明确的攻击。

讨论过滤的精度时，需要区分 2 种错误。

“误报（False Positive）”，是把没有问题的提问判定为不当的错误。“笑死我了”被加上警告，就属于这种情况。误报一多，箱主就不再信任警告，甚至会把过滤功能本身关掉。

“漏报（False Negative）”，是没能识别出不当提问的错误。巧妙换了说法的诽谤中伤，或依赖上下文的攻击性表达漏网，就属于这种情况。漏报一多，过滤的存在意义就会变弱。

想减少误报，漏报就会增加；想减少漏报，误报就会增加。这是过滤本质上的取舍。

以警告方式运营的过滤，大多站在“比起漏报，更能容忍误报”的一侧。因为如果是误报，箱主只要判断“没问题”然后回答就行；而漏报会让箱主冷不防看到攻击性的文字。这是一种优先考虑箱主的心理安全、容忍一定误报的思路。

无论使用多么高级的过滤技术，都无法完全把握人类语言的复杂性。讽刺、隐喻、依赖文化背景的表达，仅靠技术分析无法准确判定。

“加油哦（笑）”这样的提问，只看文字是一条加油的留言。但根据上下文，它也可能是带有嘲笑的攻击性表达。这种判断，只有了解箱主和提问者的关系、过去的往来、社交媒体上的来龙去脉的人才能做出。

正因为如此，过滤功能采用的是“警告”方式，而不是“自动删除”。技术高效地挑出“需要注意的提问”，最终判断由能理解上下文的人（箱主）来做。这种人与技术的协作，就是过滤的最佳运营方式。

过滤功能（管理页面的“送达前审核”）从一开始就是开启的。即使开启，正当的提问也不会被自动删除。被判定为不当的提问会进入暂存一栏，所有提问都会显示在箱主的管理页面上。