Windows/macOS

反垃圾(内容审核)

更新时间: 2024/03/15 16:14:37

目前云信支持三类内容反垃圾功能,分别为客户端本地反垃圾、安全通和第三方反垃圾。您可按需开通和配置上述反垃圾功能,满足您的业务内容安全审核需求,避免内容违规导致的业务风险。

客户端本地反垃圾

功能介绍

客户端本地反垃圾是指在发送消息前,由客户端先对内容进行审查,并根据审查结果,决定是否投递、替换消息。

客户端本地反垃圾可用于对单聊、群聊和聊天室的文本消息进行内容安全检测。如需检测图片、音视频等其他类型的消息,请使用安全通

实现流程

准备阶段

  1. 在控制台首页应用管理中选择应用,然后单击 IM 即时通讯 专业版下的功能配置按钮进入功能配置页。

    功能配置.png

  2. 顶部选择全局功能页签,开通客户端反垃圾功能。

    客户端反垃圾.png

  3. 阅读并确认信息后,单击确认

  4. 开通后,单击子功能配置配置反垃圾词库。

    客户端反垃圾子功能配置.png

    配置词库.png

    替换/拦截规则 说明
    本地拦截库 客户端检测到文本消息存在敏感词汇后,直接拦截违规文本消息。发送者将收到对应的警告或提示,一般对应等级最高的违规,如消息存在涉政、反动内容。
    本地替换库 客户端将检测到的敏感词汇替换成指定的文本,再将替换后的消息发送给服务器。
    服务端拦截库 检测到敏感词汇后,云信服务器拦截涉及的违规消息。违规消息仅对发送者可见,接收方无法收到违规消息。一般对应消息存在广告等违规场景。
  5. 完成配置后单击发布词库将反垃圾词库下发到客户端 SDK。

运行阶段

步骤1:获取反垃圾词库

调用Init方法进行初始化时,将client_antispam_开启,开启后 SDK 将从云信服务端获取反垃圾词库。

步骤2:审查待发送内容

调用Tool::FilterClientAntispam方法判断某文本消息是否存在违规内容。

安全通

功能介绍

安全通(又称“易盾反垃圾”)是网易云信提供的内容安全增值业务,为您提供全方位的内容安全检测服务。开通安全通功能并配置安全通检测规则后,指定类型的消息都会先经由安全通进行内容安全检测,之后才会转发给接收端的应用用户。安全通目前支持单聊、群聊、聊天室的文本消息、图片消息、自定义消息以及用户头像和用户资料等类型的内容安全检测。

更多 IM 安全通的功能介绍,请参见安全通概述

技术原理

安全通技术原理.png

若您需要云信服务器将审核结果抄送到您的应用服务器,即上图中的流程 6,请先开通易盾异步反垃圾抄送

实现流程

准备阶段

前往云信控制台开通安全通

运行阶段

开通安全通服务后,调用相关方法发送消息时,传入下列参数可实现消息内容过安全通审核。匹配消息体命中敏感词,会返回审核结果anti_spam_resanti_spam_res为 JSON 字符串格式,请自行解析或者反转成 JSON 对象使用。

  • 内容审核入参说明
参数
是否必传
类型
说明
anti_apam_using_yidun_ int 是否使用安全通对当前消息进行内容安全检测,默认检测。如不需要检测,可设置为 0
anti_spam_enable_ BoolStatus 是否需要对自定义消息的指定内容(anti_spam_content_)进行安全检测,默认不检测
anti_spam_content_ std::string 自定义消息中需额外进行审核的内容,anti_spam_enable_ 开启后才能配置该参数,且仅对自定义消息有效。必须传递 JSON 格式字符串,长度不超过 5,000 字节

格式如下:{"type": 1, "data": "custom content"}
字段说明:
  • type: 1-文本、2-图片、3-视频
  • data:内容可以是文本内容、图片地址、视频地址
anti_apam_biz_id_ std::string 安全通自定义业务 ID,传入此参数则消息通过安全通自定义业务进行安全审核;如需新增安全通自定义业务,请联系商务经理进行相关配置,然后前往云信控制台的安全通配置界面获取该业务 ID。
  • 内容审核结果 anti_spam_res 字段说明
名称类型说明
code Integer状态码:
  • 200:易盾内容审核结果返回正常
  • 404:易盾反回的内容审核结果为空,该情况下 anti_spam_res 中无 code 以外的字段
  • 414:易盾返回的内容审核结果过长,该情况下 anti_spam_res 中无 ext 字段
type String内容审核类型
  • text:文本
  • image:图片
version String易盾内容审核的接口版本
taskId String审核任务的 ID
suggestion Integer 建议处理方式
  • 0:通过
  • 1:嫌疑,建议人工复审
  • 2:不通过
status Integer内容审核请求结果
  • 2:检测成功
  • 3:检测失败只有图片审核(type="image")时才返回该字段。
  • ext String内容审核结果,对应易盾的 result 字段,result 字段详情参见易盾文档(注:本链接仅以“单次同步文本检测的 result 字段说明”为例)

    参考文档

    易盾反垃圾文档:

    考虑到易盾反垃圾相关字段后续的扩展性(一般为新增属性),请注意做好解析兼容。具体请参见易盾的反垃圾含圈组版用户可扩展参数

    第三方反垃圾

    如果您的应用已接入第三方内容安全审核服务(第三方反垃圾服务),您可通过云信服务端的第三方回调服务来实现发送方发送消息后先过第三方内容安全审核服务再判断是否投递至接收方。

    此文档是否对你有帮助?
    有帮助
    去反馈
    • 客户端本地反垃圾
    • 功能介绍
    • 实现流程
    • 准备阶段
    • 运行阶段
    • 步骤1:获取反垃圾词库
    • 步骤2:审查待发送内容
    • 安全通
    • 功能介绍
    • 技术原理
    • 实现流程
    • 准备阶段
    • 运行阶段
    • 参考文档
    • 第三方反垃圾