安全通概述

更新时间: 2024/03/25 11:00:40

网易云信音视频安全通(内容安全审核)服务,融合了网易易盾的内容审核能力,支持对音视频流中的广告、暴力、涉政、色情、欺诈等内容进行实时检测,实现全流程的审-查-禁功能,降低人力投入。

功能介绍

娱乐社交产品用户往往掺杂了社会中各类人群,用户的自主内容制造往往不受产品控制,而凡是涉及色情、暴恐和涉政的内容信息,会对产品本身的运营合规造成毁灭性的打击。

随着国家监管的日趋严格,各平台需要对平台的音视频内容进行管控,自行处理音视频内容审核不仅需要投入大量人力进行甄别,还会遇到例如缺乏运营经验、检测效率低、对接多家厂商、成本高等问题。

网易云信安全通具备如下优势:

  • 能对音视频流中的广告、暴力、涉政、色情、欺诈等内容进行实时检测,同时支持开发者自定义关键词和图片内容库,以及检测内容查询和数据统计,根据业务情况动态调整音视频检测频率。

  • 低成本接入,安全通和音视频功能深度融合,无需开发和花成本对接其它内容安全检测商。另外,通信服务管理和内容安全检测服务混合部署,也能一定程度上降低成本。

  • 利用通信服务和内容安全检测服务的强绑定,在通信服务端可先对视频进行降噪、优化的前处理,进一步提升检测率,保证了安全通产品优秀的检测质量。

网易云信音视频安全通的功能说明如下表所示。

功能
说明
审核的内容 中文长音频检测、声纹检测、视频图片色情检测、涉政检测、暴恐检测、低俗检测、广告检测等多种检测类型
审核的类型 默认为机器审核
如果需要人工审核,请联系网易云信商务经理咨询

审核方式

音视频内容安全审核包括三种方案:

  • 实时审核:安全通虚拟用户在房间内实时拉流监听,实现秒级检测,免除虚拟用户的时长费用。
  • 旁路审核:将音视频房间画面混流后,通过 CDN 拉流进行审核。检测延迟 5 ~ 10 秒。具体请参见直播的安全通
  • 离线审核:通过点播产品提供云端录制文件离线安全审核服务,针对音视频通话云端录制生成的录制文件进行内容审核。开通点播安全审核之后,您可以在启动云端录制时开启录制文件离线安全审核任务,审核结果会以消息抄送方式发送至您的点播预留抄送地址。具体请参见点播的安全通
内容安全审核服务现已全新升级为安全通服务,2021年 4 月 1 日后开通的安全审核功能均为新版安全通。新版安全通服务相较于旧版内容安全审核功能,提供更为便捷的接入方式、更易用的接口体系,欢迎体验!

方案架构

安全通架构图.png

安全通的业务流程说明如下:

  1. 应用服务器调用网易云信服务端的创建安全通审核任务 接口,在指定房间中开启内容审核。

    创建安全通审核任务 时,可以开启视频审核自动打码功能。

  2. 开启内容审核后,安全通虚拟用户加入音视频房间,实时监听房间内的视频流和音频流,依据预设的频率截取视频截图、音频片段,用于内容审核。安全通虚拟用户对其他房间成员不可见。

  3. 云信媒体服务器将拉取的音频流和视频流发送给内容审核服务器进行内容审核。

  4. 安全通服务的审核结果会以消息抄送形式发送至您预留的抄送地址,即您本地用于处理消息抄送的服务器公网地址。

    创建安全通审核任务时开启了视频审核自动打码功能,云信服务器检测到用户违规视频时,向客户端发送打码指令,对指定违规用户的上、下行媒体流进行马赛克打码操作。

  5. 应用服务器接收到实时审核结果时,可以据此进行相关的业务处理逻辑,例如检测到违规连麦者时,可以将用户踢出房间、关闭房间等。

  6. 应用服务器调用网易云信服务端的停止安全通审核任务 接口,在指定房间中结束内容审核。

    安全通虚拟用户自动退出房间,结束安全审核。

准备工作

  1. 准备接收消息抄送的服务器公网地址,并配置消息抄送,配置方法请参见开通消息抄送

    审核结果会以消息抄送方式发送至您预留的抄送地址,请在开通服务前准备抄送地址,并保证抄送地址长期有效。

  2. 为安全通服务在房间中的虚拟用户预留监听 uid 号段,并授权监听 uid 进入房间的 Token,便于其加入房间。

  3. 在控制台开通安全通服务,详细信息请参考 开通安全通服务

实现流程

graph LR
    %% 定义样式类
    classDef default fill:#337EFF,stroke:#337EFF,stroke-width:1px,color:#FFFFFF;


    创建音视频通话的房间 --> 创建安全通审核任务;
    创建安全通审核任务 --> 接收审核结果;
    接收审核结果 --> 处理安全审核结果;
    处理安全审核结果 --> 停止安全通审核任务;
   

序号
步骤
说明
1 创建音视频通话的房间 创建音视频安全通审核任务之前,您需要通过服务端或客户端 API 创建一个实时音视频房间,并确保房间中已有一名以上成员。
2 创建安全通审核任务 建议在其他客户端加入房间之前,创建安全通审核任务,开启内容安全审核。
开启后,安全通服务会自动通过指定的 uid 以虚拟用户加入指定房间,实时监听房间内的音视频流,以此进行内容安全审核。

3

接收审核结果

安全通服务基于监听到的音频片段和视频截图进行机器审核,当安全通服务在房间中监听到违规内容时,会将内容安全审核结果以消息抄送的方式发送至您的预留抄送地址。实时音视频安全通审核抄送的 event_type 为 400,详细的事件说明请参考实时音视频安全通核抄送

  • 抄送服务默认使用您在控制台中配置的消息抄送地址,您也可以在创建安全通审核任务时指定其他地址接收审核结果。
  • 默认情况下,安全通仅在监听到违规内容时触发相关抄送。如果您需要实时接收全量的检测结果,可以联系技术支持修改检测配置。成功配置后,除了违规内容的抄送之外,安全通服务还会根据截图频率定期发送截图对应的检测结果。
  • 应用服务器也可以调用服务端 API 查询审核视频截图查询审核音频断句,查询检测过程中生成的音频片段和视频截图。

4

处理安全审核结果

  • 您的本地应用服务器需要基于内容安全审核结果进行相关业务数据处理,例如将用户移出房间、关闭房间等,请自行实现相关的处理逻辑。
  • 应用服务器也可以调用云信服务端的安全通审核自动打码 接口,通过服务端向客户端发送打码指令,对违规用户的本端上行视频流和房间内其他用户接收到的此用户的下行视频流进行渲染打码。
5 停止安全通审核任务 当房间不再需要安全通服务时,或房间结束后,需要主动调用停止安全通审核任务接口停止检测,安全通服务不会主动停止检测。
任务停止时,安全通服务也会发送一条实时音视频安全通核抄送,其中包含任务停止前的检测结果。
此文档是否对你有帮助?
有帮助
去反馈
  • 功能介绍
  • 方案架构
  • 准备工作
  • 实现流程