反垃圾(内容审核)

更新时间: 2024/05/23 19:23:32

目前云信支持三类内容审核功能,分别为客户端本地反垃圾、安全通与客户自定义反垃圾。

客户端本地反垃圾

功能介绍

客户端本地反垃圾是指在发送文本消息前,由客户端先对内容进行审查,并根据审查结果,决定是否投递、替换消息。反垃圾规则支持关键字和正则表达式两种匹配方式。

客户端本地反垃圾可用于对单聊、群聊和聊天室的文本消息进行内容安全检测。如需检测图片、音视频等其他类型的消息,请使用安全通

实现流程

准备阶段

  1. 在控制台首页应用管理中选择应用,然后单击 IM 即时通讯下的功能配置按钮进入功能配置页。

    image.png
  2. 顶部选择全局功能页签,开通客户端反垃圾功能。

    客户端反垃圾.png

  3. 阅读并确认信息后,单击确认

  4. 开通后,单击子功能配置配置反垃圾词库。

    配置词库.png

    替换/拦截规则 说明
    本地拦截库 客户端检测到文本消息存在敏感词汇后,直接拦截违规文本消息。发送者将收到对应的警告或提示,一般对应等级最高的违规,如消息存在涉政、反动内容。
    本地替换库 客户端将检测到的敏感词汇替换成指定的文本,再将替换后的消息发送给服务器。
    服务端拦截库 检测到敏感词汇后,云信服务器拦截涉及的违规消息。违规消息仅对发送者可见,接收方无法收到违规消息。一般对应消息存在广告等违规场景。
  5. 完成配置后单击发布词库将反垃圾词库下发到客户端 SDK。

运行阶段

登录 IM 时,SDK 会自动向云信服务端获取反垃圾词库。登录后,即可调用 checkTextAntispam 方法审核文本消息是否存在违规内容。

Andoroid
javaV2NIMClientAntispamResult res = V2NIMClientAntispamUtil.checkTextAntispam('bad sentense', '***')
iOS
objective-cV2NIMClientAntispamResult *res = [V2NIMClientAntispamUtil checkTextAntispam:@"bad sentense" replace:@"***"];
macOS/Windows
cppauto result = V2NIMClientAntispamUtil::checkTextAntispam("spam text", "*");
Web
typescriptconst res = nim.V2NIMClientAntispamUtil.checkTextAntispam('bad sentense', '***')

审核结果

如果命中客户端本地反垃圾,SDK 接口会回调结果。如果命中并配置了服务端拦截以及开通 IM 消息抄送,IM 消息抄送会通过 antispam 字段进行标记,请参见IM 其他抄送

如果命中并配置了服务端拦截,那么在发送消息前,需要配置相应的属性 V2NIMMessage.antispamConfig。如果不设置,服务器不会进行拦截。

安全通

功能介绍

安全通(又称“易盾反垃圾”)是网易云信提供的内容安全增值业务,为您提供全方位的内容安全检测服务。开通安全通功能并配置安全通检测规则后,指定类型的消息都会先经由安全通进行内容安全检测,之后才会转发给接收端的应用用户。安全通目前支持单聊、群聊、聊天室和圈组的文本消息、图片消息、自定义消息以及用户头像和用户资料等类型的内容安全检测。

更多 IM 安全通的功能介绍,请参见安全通概述

技术原理

安全通技术原理.png

若您需要云信服务器将审核结果抄送到您的应用服务器,即上图中的流程 6,请先开通易盾异步反垃圾抄送

实现流程

准备阶段

前往云信控制台开通安全通

运行阶段

开通安全通服务后,调用发送消息方法 sendMessage 时配置相关参数 V2NIMSendMessageParams.antispamConfig 可实现消息安全通审核。

单聊群聊等指定类型的消息会根据检测规则进行内容安全检测。除此之外,自定义消息如果需要经过安全通检测,请参考以下方式进行配置。

如果需要对自定义消息进行安全通检测,需要对即将发送的消息配置 V2NIMMessage.antispamConfig 属性,类型为 V2NIMMessageAntispamConfig

其中,V2NIMMessageAntispamConfig.antispamCustomMessage 参数用于自定义消息中需要反垃圾的内容,必须是 JSON 格式,长度不超过 5000 字节。

格式如下:

JSON{
    "type": 1, //1:文本,2:图片
    "data": "" //文本内容or图片地址
}

获取审核结果

匹配消息体命中敏感词后,可通过 V2NIMSendMessageResult.antispamResult 字段通知客户端反垃圾结果。

只有被安全通拦截的消息才会有 antispamResult 字段返回。对于疑似消息根据云信控制台设置的策略来判断,如果疑似消息被拦截会有该字段返回,如果疑似消息放行则没有该字段返回。

返回的审核结果 antispamResult 为 JSON 字符串格式,请自行解析或者反转成 JSON 对象使用。

antispamResult 字段定义如下:

名称类型说明
code Integer状态码:
  • 200:易盾内容审核结果返回正常
  • 404:易盾反回的内容审核结果为空,该情况下该字段中无 `code` 以外的字段
  • 414:易盾返回的内容审核结果过长,该情况下该字段中无 `ext` 字段
type String内容审核类型
  • text:文本
  • image:图片
version String易盾内容审核的接口版本
taskId String审核任务的 ID
suggestion Integer 建议处理方式
  • 0:通过
  • 1:嫌疑,建议人工复审
  • 2:不通过
status Integer内容审核请求结果
  • 2:检测成功
  • 3:检测失败只有图片审核(type="image")时才返回该字段。
  • ext String内容审核结果,对应易盾的 result 字段,result 字段详情参见易盾文档(注:本链接仅以“单次同步文本检测的 result 字段说明”为例)
    语音、视频消息进行安全通反垃圾时,是异步检测的,并且检测结果是通过 IM 抄送通知开发者服务器。虽然命中后云信会自动删除服务器上的文件,但是在检测结果出来之前,消息可能已经被投递到接收方。因此如果开发者收到命中抄送后,对于单聊和群消息,请通过 IM 服务端接口进行撤回/删除消息;对于聊天室消息,请通过 IM 服务端接口撤回/删除聊天室历史消息

    安全通重要参数

    参数 类型 说明
    antispamExtension 易盾反垃圾扩展字段 透传给易盾的反垃圾含圈组版的检测参数,具体请参见易盾的反垃圾含圈组版用户可扩展参数,格式为json,长度限制1024 反作弊相关的 email、phone、token、extension,抄送到yidunAntiCheating。其他用户增值信息,抄送到yidunAntiSpamExt。
    antispamResult 易盾反垃圾结果 易盾反垃圾触发时返回的结果字段,格式为 JSON
    antispamCheating 易盾反作弊字段 透传给易盾的反作弊检测参数,格式为 JSON,长度限制 1024 ,具体请参见文本防刷版开发文档反作弊相关的 email、phone、token、extension,抄送到 antispamCheating。其他用户增值信息,抄送到 antispamExtension

    自定义反垃圾

    如果您的应用已接入第三方内容安全审核服务(第三方反垃圾服务),您可通过云信服务端的第三方回调服务来实现第三方反垃圾,即发送方发送消息后先过第三方内容安全审核后再判断是否投递至接收方。

    相关信息

    此文档是否对你有帮助?
    有帮助
    去反馈
    • 客户端本地反垃圾
    • 功能介绍
    • 实现流程
    • 准备阶段
    • 运行阶段
    • 审核结果
    • 安全通
    • 功能介绍
    • 技术原理
    • 实现流程
    • 准备阶段
    • 运行阶段
    • 获取审核结果
    • 安全通重要参数
    • 自定义反垃圾
    • 相关信息