投稿

敏感词库2020下载（敏感词库建立与维护）

用户投稿 • • 营销资讯

基于敏感词的风控策略是产品风控体系中最基础的设计内容，内容简单但很琐碎，系统涉及从用户发布到用户举报、命中策略到审核处理、用户画像到AI识别等方方面面。

敏感词系统在产品中，尤其在内容类产品中，是搜索、内容生产等业务模块的基础风控设计，包括敏感词添加、命中方式、影响业务和影响用户等多个设计维度。在敏感词防控系统中，敏感词大致分为以下几类：

l政治相关和人名

l迷信邪教

l黄赌毒

l枪支弹药类

l骂人讽刺类

l时事类

l广告和非法信息

l其他类。

网上有很多敏感词库，这里为大家附上两个在线敏感词审核工具：

1.敏感词甄别系统-网易易盾：

https://dun.163.com/trial/text

2.文本审核审核系统-百度Ai开放平台：

https://ai.baidu.com/tech/textcensoring?track=cp:ainsem|pf:pc|pp:chanpin-neirongshenhe|pu:neirongshenhe-minganciguolv|ci:|kw:10001876

产品中只要存在数据信息就需要预访敏感词的出现，对于有目的性发布涉及敏感词信息的人或团队常被称为“垃圾虫”。

敏感词存在的地方十分广泛：社区、论坛、聊天记录、评论、上传信息，甚至用户头像、昵称、签名这样的地方，都有可能被灌入敏感词。

因此，产品开发上线后，通常都会设置敏感词过滤，这几乎已经成了一个产品的标配。做为产品经理，最好查看一下所负责产品有没有做好相应的处理，尤其是做资讯的产品，否则当心相关部门的约谈了~

今日头条整改：下架万条问题视频 审核库增1700条敏感词

4月6日，今日头条方面发布通报称，旗下火山小视频、西瓜视频等短视频平台共计下架问题视频10318条，重置封禁问题账户4864个，增加视频审核相关词库敏感词1700余条，目前已经落实多项整改举措，并在视频社区大力推荐社会正能量内容。

　　此前的4月1日，央视曝光火山小视频、快手等存在未成年孕妇、未成年妈妈和未成年二胎妈妈主播。4月4日，国家广播电视总局约谈了这些短视频平台负责人，要求依据《互联网视听节目服务管理规定》整改，并要求停止新增视听节目上传账户，网站节目的上传总量和上线播出总量应立即调减至与网站审核管理力量相匹配的规模，确保未经审核的节目不得播出。

产品关键词系统中，主要的屏蔽内容包括“广告过滤、黄赌毒、暴力恐怖、谣言排查”等几种。对于不同的产品场景，敏感词屏蔽级别不同。

例如：

微博屏蔽需要基础、全面，一些时事热点也要纳入屏蔽范围。

B站为保证弹幕质量，屏蔽了刷屏、内容尴尬的弹幕。弹幕内容并不敏感，只是让人不喜欢。

B站在弹幕内容的控制设计十分注重用户体验：

1.用户可根据颜色、字体大小、展示方式甚至自定义文本进行弹幕屏蔽

2.视频界面右边设计了弹幕窗口，用户可以在弹幕窗口查看每条弹幕内容。

如图所示：

敏感词库2020下载（敏感词库建立与维护）

敏感词系统设计

敏感词系统可以过滤基础的文本敏感内容；可以结合业务线灵活掌握敏感词过滤方式，以及触及敏感词的用户。

1.系统涉及概念介绍

词库：同一类别的敏感词所组成的一个大类。本文中有四大词库（红线词库、敏感词库、危险词库），每一个词库中有三级分类。

词过滤：针对搜索业务，对搜索词直接过滤。

结果过滤：针对命中敏感词的结果直接过滤。

2.业务分析

原则上来说，敏感词系统具备匹配词库就足够了，但这种单一敏感词系统使用在用户业务场景中常遇到以下问题：

场景一：A产品要小规模内测上线，产品中的评论功能需要接入最基本的敏感词控制风险，但是面对运营的词库找不到哪些属于“基本”敏感词；

场景二：B产品被用户反馈有低俗色情内容，但敏感词明明已经添加过了，经检查发现该敏感词只管控了甲业务，新上的乙业务没有添加管控而被用户投诉；

场景三：C产品被老大反馈自己发表的评论消失了，开发查到是命中了敏感词导致找到了运营，但运营认为这个词字面上看确实有问题，可说不出添加依据；

场景四：及时手握大量敏感词，但依旧依靠人工排查来扩充词库，费时费力；

因此，无论是用户还是运营角度，都形成了敏感词系统的基本需求：

用户：输入/发布–>敏感词检测–>过滤–>结果展示；

运营：发现敏感词–>评估–>添加–>处理被过滤内容。

3.敏感词系统架构

敏感词库2020下载（敏感词库建立与维护）


系统设计基础为词库，把敏感词按重要程度划分类别，如“红线类别，敏感类别，危险类别”，不同类别结合用户维度、地域维度进行匹配，作用在不同业务。

系统界面架构：


敏感词库2020下载（敏感词库建立与维护）

4.原型界面

l策略配置

功能说明：词库与业务的结合设计。通过配置控制敏感词过滤功能对业务的影响方式（词过滤或结果过滤），持续时间，状态（生效或者是下线），掌握策略召回的数量，并对策略召回的内容进行处理。

设计页面：策略管理页

页面目标：配置管控策略。

操作说明：配置指定业务应适用的防控敏感词类型，操作如下：

1.配置敏感词：红线词库中，添加二级类别“低俗色情”，选择该类别下所有的三级类别；

2.关联需管控的业务：选择一级业务“搜索”下所有二级业务，

3.配置影响效果：选择影响方式和持续时间

效果说明：在搜索下的所有业务被“红线词库-低俗色情“类敏感词影响，影响方式为用户搜索该类敏感词时将被影响，且为永久影响状态”。

敏感词库2020下载（敏感词库建立与维护）

l词库管理

功能说明：添加敏感词，控制该词所属词库。在添加时可看到召回量，抽样评估后得到拦截准确率。

设计页面：词库管理页

页面目标：新增敏感词。

包含功能：

1.可批量添加多个敏感词

2.系统可初步按照字面意义判断所属词库

3.系统可评估敏感词召回量及随机样本，判断是否生效敏感词及所属词库。

敏感词库2020下载（敏感词库建立与维护）l用户配置

功能说明：关联用户与敏感词、业务、地域三个维度。

设计页面：用户管理页

页面目标：用户与敏感词、业务、地域的关联配置

包含功能：

1.读取“策略配置”页中配置好的所有策略到“用户管理“模块，即：命中策略字段。

2.系统统计命中策略中被该策略召回的用户数。

3.允许用户跳转至 “内容处理”页面对召回案例进行处理

敏感词库2020下载（敏感词库建立与维护）l内容处理

功能说明：对命中策略的业务或用户做处理。

设计页面：内容处理页

页面目标：用户与敏感词、业务、地域的关联配置

包含功能：

1.可按用户、内容两个维度查看每条被命中策略被召回案例

2.系统记录该策略生效时间

3.用户可在页面完成最新、历史召回案例的处理

敏感词库2020下载（敏感词库建立与维护）

5.数据统计

功能说明：从策略维度、词库维度、用户维度、处理维度做出数据统计。

设计页面：数据统计页

页面目标：报表形式统计策略、词库、用户和处理情况的执行情况

敏感词库2020下载（敏感词库建立与维护）

本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 sumchina520@foxmail.com 举报，一经查实，本站将立刻删除。
如若转载，请注明出处：https://www.yiheng8.com/95263.html
赞 (0)
用户投稿
0 0 打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022年7月4日 pm9:53
下一篇 2022年7月4日 pm10:09

相关推荐

更新视频
一恒问答
我要提问
公众号