敏感词风控策略是风控法体系中最基础的，但同时也是最繁琐的。敏感词运营体系的搭建应该怎么做好呢？

基于敏感词的风控策略是所有风控体系中最基础的，内容简略但琐碎，体系触及从用户发布到用户举报、射中策略到审核处理、用户画像到AI辨认等各个方面。

本次体系性的整理总结了工作以来在敏感词运营体系搭建方面的经历和主见，作为自我总结回忆的同时，也期望分享出来防止其他同学在敏感词运营方面少走弯路。

一、产品概述 1.1? 产品布景介绍

敏感词体系是查找和内容类产品的基础风控类体系。本文从词库匹配出发，触及敏感词添加、射中方式、影响事务和影响用户等多个维度，全面介绍敏感词体系搭建的结构和流程。

1.2 产品功用概述

通过本体系可以过滤基础的文本敏感内容；可以结合事务线活络把握敏感词过滤方式，以及触及敏感词的用户。

1.3 名词介绍

词库：同一类其他敏感词所组成的一个大类。本文中有四大词库（红线词库、敏感词库、风险词库），每个词库中有三级分类。

词过滤：针对查找事务，对查找词直接过滤。

成果过滤：针对射中敏感词的成果直接过滤。

二、使用场景

敏感词体系最根本的功用有匹配词库就足够，可是面对愈来愈多的愈来愈杂乱的产品形状，单一的敏感词体系使用场景的问题根本有以下四类：

场景一：A产品要小规模内测上线，产品中的评论功用需要接入最根本的敏感词控制风险，可是面对运营的词库找不到哪些属于“根本”敏感词；

场景二：B产品被用户反馈有低俗色情内容，但敏感词明明现已添加过了，经查看发现该敏感词只管控了甲事务，新上的乙事务没有添加管控而被用户投诉；

场景三：C产品被老大反馈自己宣布的评论消失了，开发查到是射中了敏感词导致找到了运营，但运营认为这个词字面上看确实有问题，可说不出添加依据；

场景四：及时手握很多敏感词，但仍旧依靠人工排查来扩充词库，费时费力；

因此，在本体系会尝试解决以上四类问题。

三、产品需求 1. 核心途径

用户：输入/发布 敏感词检测 过滤 成果展示；

运营：发现敏感词 评价 添加 处理被过滤内容。

2. 模块结构

3. 功用树

体系以词库为基础，将敏感词依据重要程度不同，区分不同类别，如红线类别，敏感类别，风险类别等等，不同类别结合用户维度和地域维度，正则匹配或准确匹配等不同匹配方式，作用于不同事务，发生不同效果。

4. 页面结构

5. 原型设计

5.1 策略配置

布景功用：词库和事务结合。控制影响方式（词过滤或成果过滤），控制继续时间，控制状态（生效或者是下线），把握策略召回的数量，并可将策略召回的内容进行处理。

页面说明：策略管理页可直接配置管控策略。例如在红线词库中，添加二级类别为“低俗色情”，选择该类别下所有的三级类别“all”，选择需要管控的事务如一级事务“查找”，其下所有二级事务，选择影响方式和继续时间，则达到效果为：

“在查找下的所有事务，都被红线词库-低俗色情类别敏感词所影响，影响方式为在查找该词时就被影响，且为永久影响状态”。

策略配置所需要的其他部件添加或者修正则在事务管控和词库管理进行。

原型演示：

5.2 词库管理

布景功用：添加敏感词，控制该词所属词库，并在添加时可看到召回量，抽样评价后得到拦截精确率。

页面说明：敏感词添加可直接批量添加多词，并开始依靠字面意义判断所属词库，然后评价召回量和随机样本，给出是否需要生效，以及确认所属词库。

随机样本抽取数量和方式可在“样本设置”进行，射中精确率评价可在“敏感词评价”进行。

原型演示：

5.3 用户配置

布景功用：将用户与敏感词、事务、地域三种维度结合。

页面说明：敏射中策略指“策略配置”页的策略，可看到被该策略召回的用户数，点击“处理”可跳转至“内容处理”页面进行处理。

原型演示：

5.4 内容处理

布景功用：对射中策略的事务或用户做处理。

页面说明：时间指该策略生效的时间，可在该页面完成增量和存量内容的处理。

原型演示：

5.5 数据统计

布景功用：从策略维度、词库维度、用户维度和处理维度做出数据统计。

页面说明：报表形式给出

原型演示：

四、未来规划

互联网面前人人对等，因此人们可以十分容易的暴露自己黑暗的一面。

为了防止其他用户看到、触摸到、遭到这些黑暗信息的影响，敏感词体系应运而生。这不只承当着为产品过滤基础风险的功用，同时作为基础体系承当着为大众提供一个天朗气清的网络环境的作用，因此敏感词体系也需要不断的优化和改善：

使用AI技能增强语义辨认功用，扩充添加渠道，及时发现及时处理； 敏感词体系和舆情体系结合，成为负面舆情控制和处理的强壮东西。

 

本文由 @秃头少女 原创发布于人人都是产品主管。未经答应，禁止转载

题图来自Unsplash，基于CC0协议

于纤细处见真章，受教了。。。公司现阶段正好准备做这方面的功用，便利留个联络方式吗？

审核敏感词，不是审核内容。当事务人员添加一个敏感词的时分，是否需要审核后再生效呢？

结构上事务词库是大词库的子集，后端完成上可以给词库编号或者其他方法吧，不了解后端完成呢

哈哈哈 基础词库过滤很简略的 一个后端一下战书就可以搞定
可是要做到运营能使用并且数据通明化 那工作量就大了 两三个人估计要小一个月

人人都是产品主管（woshipm）是以产品主管、运营为核心的学习、交流、分享平台，集媒体、培训、社群为一体，全方位效劳产品人和运营人，建立9年举行在线讲座500+期，线下分享会300+场，产品主管大会、运营大会20+场，掩盖北上广深杭成都等15个城市，内行业有较高的影响力和知名度。平台集合了众多BAT美团京东滴滴360小米网易等知名互联网公司产品总监和运营总监，他们在这里与你一同生长。