更新日志(V4.6)

更新时间: 2024/03/15 17:49:46

近期重要更新

  • V4.6.29开始,支持高级 Token 鉴权 , 支持对用户创建、加入房间和订阅、发布音视频流的权限进行校验,帮助您有效避免客户端遭遇破解攻击的问题。
  • V4.6.20开始,支持以插件化方式集成美颜虚拟背景AI 降噪AI 啸叫检测,提升 SDK 集成的灵活性与易操作性,您可以根据需要自行选择是否集成对应特性的动态库,使 App 的包体积更小,具体请参见集成 SDK
  • V4.6.20开始,支持通过视频辅流通道开启本地摄像头采集、自定义视频源输入等,具体请参见 设置视频编码属性自定义视频采集

[4.6.53] - 2023-05-11

新增特性

序号
新增特性
特性描述
相关文档
1 自定义加密 媒体流加密新增支持自定义加密模式。除了国密算法,您可以使用自己独特的加密算法,使产品更安全、更难被攻击者破解。 媒体流加密

[4.6.50] - 2023-03-28

新增特性

序号
新增特性
特性描述
相关文档
1 调节本地播放的指定房间内所有远端用户的音量。 在多房间场景中,可以使用该方法单独调整主房间或者某个子房间的所有远端用户的播放音量。 设置通话音量

新增 API

API
API 说明
adjustChannelPlaybackSignalVolume 调节本地播放的指定房间内所有远端用户的音量。

[4.6.43] - 2023-02-16

问题修复

  • 修复屏幕共享时,PPT 幻灯片放映窗口自动采集的兼容性问题。
  • 修复美颜功能在部分 Macbook 设备上崩溃的问题。

[4.6.40] - 2023-01-10

升级必看

自 V4.6.40 起,AI 降噪功能以插件化方式提供,对应的 AI 降噪库为 NERtcAiDenoise.framework,可以与核心 SDK(基础音视频库)搭配使用,具体集成方式请参考集成 SDK

新增特性

序号
新增特性
特性描述
相关文档
1 音频裸流传输支持 ASL 选路 支持将编码后音频的音量数据传递给 SDK,以支持音频裸流参与 ASL 选路。 音频裸流传输
2 自定义视频画布颜色 支持设置视频画布的背景色,当视频尺寸与显示视窗尺寸不一致时,可以自定义改变传统黑框的颜色。 NERtcVideoCanvas

改进优化

  1. 支持平滑入会,优化摄像头预览期间的入会体验。
  2. 屏幕共享场景实践优化,支持在播放 PPT 时自动共享该页 PPT。

变更 API

API
API 说明
pushExternalAudioEncodedFrame encodedAudioFrame 参数对应的 NERtcAudioEncodedFrame 类型新增 rms_level 字段,对应音频裸流主流的音量值。
pushExternalSubStreamAudioEncodedFrame encodedAudioFrame 参数对应的 NERtcAudioEncodedFrame 类型新增 rms_level 字段,对应音频裸流辅流的音量值。
setupLocalVideoCanvas canvas 参数对应的 NERtcVideoCanvas 类型新增 background_color 字段,对应本端视频主流画布的背景颜色。
setupRemoteVideoCanvas canvas 参数对应的 NERtcVideoCanvas 类型新增 background_color 字段,对应远端视频主流画布的背景颜色。
setupLocalSubStreamVideoCanvas canvas 参数对应的 NERtcVideoCanvas 类型新增 background_color 字段,对应本端视频辅流画布的背景颜色。
setupRemoteSubStreamVideoCanvas canvas 参数对应的 NERtcVideoCanvas 类型新增 background_color 字段,对应远端视频辅流画布的背景颜色。

[4.6.29] - 2022-11-18

新增特性

序号
新增特性
特性描述
相关文档
1 高级 Token 鉴权 支持对用户创建、加入房间和订阅、发布音视频流的权限进行校验,帮助您有效避免客户端遭遇破解攻击的问题。 高级 Token 鉴权
2 设置混音文件音调 支持调整伴音和音效文件的音调,以实现例如在 K 歌场景中,为了使歌曲更适合主播的声线音域,升高或降低伴奏的音阶。 音效与伴音
3 音视频裸流传输 支持音视频裸流传输,您可以向 NERTC SDK 提供自定义格式的音视频编码数据,并由 NERTC SDK 进行推流。 音频裸流传输视频裸流传输

改进优化

优化加入房间进程。

问题修复

修复已知问题。

新增 API

API
API 说明
joinChannel 加入音视频房间(原同名接口保留,此接口新增 channel_options 参数,用于携带自定义入会信息)。
updatePermissionKey 设置新的权限密钥。
setEffectPitch 设置音效文件音调
getEffectPitch 获取音效文件音调
setEffectPosition 设置音效文件的播放位置
getEffectDuration 获取音效文件时长
getEffectCurrentPosition 获取音效文件当前播放进度
setAudioMixingPitch 设置伴音的音调
getAudioMixingPitch 获取伴音的音调
pushExternalAudioEncodedFrame 推送外部音频主流编码帧
pushExternalSubStreamAudioFrame 推送外部音频辅流编码帧
setPreDecodeObserver 注册解码前媒体数据观测器
pushExternalVideoEncodedFrame 推送外部视频主流或辅流编码帧
setVideoEncoderQosObserver 注册视频编码 QoS 信息监听器
onUserJoined 远端用户加入房间回调(原同名回调不建议使用,此回调新增 joinExtraInfo 参数,用于返回自定义入会信息)。
onUserLeft 远端用户离开房间回调(原同名回调不建议使用,此回调新增 joinExtraInfo 参数,用于返回自定义入会信息)。
onPermissionKeyWillExpire 权限密钥即将过期回调。
onUpdatePermissionKey 更新权限密钥成功回调。
onAudioEffectTimestampUpdate 本地音效文件播放进度信息回调
onFrame 解码前媒体数据回调
onRequestSendKeyFrame I 帧请求事件回调
onVideoCodecUpdated 视频编码器类型信息回调
onBitrateUpdated 视频码率信息回调

[4.6.22] - 2022-11-02

改进优化

  1. 视频后处理中增加丢帧处理机制。
  2. 新增全局初始化 libcurl 及清理机制。

[4.6.20] - 2022-09-08

升级必看

自 V4.6.20 起,支持以插件化方式集成美颜、虚拟背景等功能,提升 SDK 集成的灵活性与易操作性,您根据需要自行选择是否集成对应特性的动态库,以实现轻量接入裁剪包,更多请参考集成 SDK

新增特性

序号
新增特性
特性描述
相关文档
1 视频辅流通道优化 支持通过视频辅流通道开启本地摄像头采集、自定义视频源输入等。 设置视频属性
2 监听音频辅流音量 支持监听房间内远端用户音频辅流的瞬时音量的回调。 监听发言者音量

改进优化

  1. 优化高级美颜效果。
  2. 优化虚拟背景效果。
  3. HTTP DNS 解析优化,实现防域名劫持。

新增 API

API
API 说明
updateScreenCaptureParameters 更新屏幕共享相关参数。
enableLocalVideo(type,enabled) 开启或关闭本地视频流的采集和发送(原同名接口保留,此接口新增 type 参数,用于开启辅流通道)。
muteLocalVideoStream(type,mute) 取消或恢复发布本地视频流(原同名接口保留,此接口新增 type 参数,用于开启辅流通道)。
setVideoConfig(config,type) 设置视频编码属性(原同名接口保留,此接口新增 type 参数,用于开启辅流通道,且支持在房间内动态调用)。
setCameraCaptureConfig(type,config) 设置本地摄像头的采集配置(原同名接口保留,此接口新增 type 参数,用于开启辅流通道)。
setExternalVideoSource(type,enable) 开启外部视频输入(原同名接口保留,此接口新增 type 参数,用于开启辅流通道)。
pushExternalVideoFrame(type,frame) 推送外部视频帧(原同名接口保留,此接口新增 type 参数,用于开启辅流通道)。
startVideoPreview(type) 开启视频预览(原同名接口保留,此接口新增 type 参数,用于开启辅流通道)。
stopVideoPreview(type) 关闭视频预览(原同名接口保留,此接口新增 type 参数,用于开启辅流通道)。
setDevice(device_id,type) 选择视频采集设备(原同名接口废弃,此接口新增 type 参数,用于开启辅流通道)。
getDevice(device_id,type) 获取当前使用的视频采集设备信息(原同名接口废弃,此接口新增 type 参数,用于开启辅流通道)。
setLocalVideoMirrorMode(type,mirror_mode) 设置本地视频镜像模式(原同名接口保留,此接口新增 type 参数,用于开启辅流通道)。
onSubStreamAudioFrameDidRecord 辅流采集音频数据回调。
onUserVideoMute(uid,mute,videoStreamType) 远端用户暂停或恢复发送视频流的回调(原同名回调保留,此接口新增 videoStreamType 参数,用于辅流通道)。
onFirstVideoFrameDecoded(uid,width,height,type) 已接收到远端视频首帧并完成解码的回调(原同名回调保留,此接口新增 type 参数,用于辅流通道)。
onFirstVideoDataReceived(uid,type) 已显示远端视频首帧的回调(原同名回调保留,此接口新增 type 参数,用于辅流通道)。

变更 API

API
API 说明
onLocalVideoWatermarkState state 参数对应的 NERtcLocalVideoWatermarkState 类型新增 kNERtcLocalWatermarkStateSetSuccess 等 5 种枚举值,支持字体设置错误等新增水印异常状态回调。
onRemoteAudioVolumeIndication speakers 参数对应的 NERtcAudioVolumeInfo 类型新增 subStreamVolume 字段,对应远端辅流音量回调值。
setBeautyEffectWithValue:atType: type 参数对应的 NERtcBeautyEffectType 类型新增 kNERtcBeautyShortFace 等 5 种枚举值,支持短脸等新增美颜效果。

[4.6.13] - 2022-06-29

改进优化

稳定性提升。

[4.6.12] - 2022-06-15

改进优化

修改默认的日志打印等级为 info。

问题修复

  1. 修复一些场景下的 SDK 上报问题。
  2. 修复音频设备切换问题。
  3. 修复使用虚拟背景功能场景下的已知问题。
  4. 修复部分场景下的帧率下降问题。

[4.6.10] - 2022-06-01

新增特性

序号
新增特性
特性描述
相关文档
1 云信美颜 云信自研的基础美颜和高级美颜功能,支持在音视频通话或互动直播场景中,对人脸进行美肤、美型等美颜调整,或通过画面滤镜改变视频的色调与氛围。 云信美颜
2 音频辅流 支持通过辅流输入伴音文件或自定义音频源。 音效与伴音
自定义音频采集与渲染
3 自定义混响效果 支持自定义设置本地人声的混响回声效果,赋予声音一定的立体效果。 美声变声与混响
4 视频编码水印 支持为视频流画面添加编码水印,例如添加公司名称、标语等文字水印、录制时间等时间戳水印、以及 logo 等图片水印。 水印

改进优化

  1. 修复同一 uid 在多端登录导致的互踢问题。
  2. 分离音频的引擎启动逻辑和流发布逻辑,有效减少大房间的性能压力。
  3. 支持在房间中根据不同场景切换音频模式,即允许在加入房间后动态切换 audioProfile。

API 变更

新增 API

API
API 说明
startBeauty 开启美颜功能模块。
stopBeauty 结束美颜功能模块。
isOpenBeauty 暂停或恢复美颜效果。
setBeautyEffectWithValue 设置美颜效果。
addTempleteWithPath 导入美颜资源或模型。
addBeautyFilterWithPath 添加滤镜效果。
removeBeautyFilter 移除滤镜。
enableAudioVolumeIndication 开启说话者音量提示(原同名接口保留,此接口新增 enableVad 参数,用于设置是否启用本地采集人声监测)。
onLocalAudioVolumeIndication 提示本地用户瞬时音量的回调(原同名接口保留,此接口新增 vadFlag 参数,用于监测是否存在人声)。
enableLocalSubStreamAudio 开启音频辅流。
subscribeRemoteSubStreamAudio 订阅远端用户辅流。
muteLocalSubStreamAudio 静音本地音频辅流。
setExternalSubStreamAudioSource 开启外部音频辅流输入。
pushExternalSubStreamAudioFrame 推送外部音频辅流数据帧。
onUserSubStreamAudioStart 通知远端用户开启音频辅流的回调。
onUserSubStreamAudioStop 通知远端用户关闭音频辅流的回调。
onUserSubStreamAudioMute 通知远端用户暂停或恢复音频辅流的回调。
setAudioSubscribeOnlyBy 设置本地用户音频只能被房间内其他指定用户订阅。
setStreamAlignmentProperty 对齐本地系统时间与服务端时间。
getNtpTimeOffset 获取本地系统时间与服务端时间的差值。
setLocalVoiceReverbParam 开启本地语音混响效果。
setLocalVideoWatermarkConfigs 设置视频水印。
onLocalVideoWatermarkState 通知水印是否成功设置的回调。
setScreenCaptureMouseCursor 设置共享屏幕时是否显示鼠标。
enableMediaPub 发布或停止发布本地音频。
onPlaybackSubStreamAudioFrameBeforeMixing 获取开启音频辅流的远端用户的辅流数据。

变更 API

API
API 说明
startAudioMixing Option 参数新增 startTimeStamp 和 sendWithAudioType 字段,设置文件播放的起始位置和音频类型。
setAudioProfile 支持在房间内动态调用此接口设置音频属性。
setupLocalVideoCanvas Canvus 参数新增 mirror_mode 字段,设置视频镜像模式。
setupRemoteVideoCanvas Canvus 参数新增 mirror_mode 字段,设置视频镜像模式。
setCameraCaptureConfig Config 参数废弃 preference 字段。

废弃 API

API
API 说明
setLocalCanvasWatermarkConfigs 此接口已废弃,请使用新接口 setLocalVideoWatermarkConfigs
setRemoteCanvasWatermarkConfigs 此接口已废弃。

[4.6.0] - 2022-02-28

网易云信于 2022 年 2 月 28 日发布了 NERTC SDK 最新版本 V4.6.0。

新增特性

序号
新增特性
特性描述
相关文档
1 设置音频订阅优先级 支持优先订阅远端某用户发布的音频流。在 ASL 策略下,即在服务器线路上选择最清晰的三条音频流传输给本地用户时,本地用户设置优先订阅一个成员的音频流后,即使该成员的说话音量较低或不够清晰,本地用户仍能接收到该指定成员的音频流。 设置音频订阅优先级
2 音频循环缓存录制 在原有的支持实时写文件基础上,支持设置仅录制最近一段时间内的音频数据,最高为 15 分钟。 客户端音频录制
3 共享系统音频 支持将本地播放的音频或视频文件的声音分享给远端用户。 音频共享
4 设置虚拟背景 支持自动识别用户人像,并将人像周围的环境替换为指定颜色的图片或自定义图像。 设置虚拟背景
5 云代理 支持使用云代理服务穿透防火墙限制,使用固定 IP 连接到网易云信服务器。 使用云代理

改进优化

序号
改进优化
特性描述
相关文档
1 单声道最高支持码率提升 单声道最高音频码率从 64 Kbps 提升至 96 Kbps。 设置音频属性

API 变更

新增 API

API
API 说明
setRemoteHighPriorityAudioStream 设置某用户的音频流为高优先级。
startAudioRecordingWithConfig 开启音频录制。
setCloudProxy 开启并设置云代理服务。
enableVirtualBackground 开启或关闭虚拟背景功能。
checkNECastAudioDriver 检测设备是否安装最新版本的虚拟声卡。
onCheckNECastAudioDriverResult 检测安装声卡的内容回调。
onVirtualBackgroundSourceEnabled 通知虚拟背景是否成功开启的回调。
onMediaRightChange 通知音视频权限是否被禁止的回调。

变更 API

API
API 说明
startAudioRecording 新增参数 recordPosition、recordCycleTime,但均只可设为默认值,建议您改用新接口 startAudioRecordingWithConfig
setExcludeWindowList macOS 端支持在开启屏幕共享后,通过此方法动态调整需要屏蔽的窗口列表。
setVideoConfig 通过 orientation_mode 设置本地视频编码的旋转方向时会同时影响本端预览画面和远端视频画面。

[4.5.0] - 2021-10-22

网易云信于 2021 年 10 月 22 日发布了 NERTC SDK 最新版本 V4.5.0。

新增特性

序号
新增特性
特性描述
相关文档
1 多房间管理 加入多个频道后,用户可以同时接收多个频道的流,但只能同时在一个频道内发流。该功能适用于用户需要同时接收多个频道的流,或频繁切换频道发流的场景。 加入多房间
2 通话前网络探测 在通话前进行 Last-mile 网络探测,可以获取通话前上下行网络的带宽、丢包、网络抖动和往返时延数据,有效帮助本地用户判断和预测上行网络质量是否良好。 通话前网络探测
2 摄像头采集偏好设置 通过设置摄像头采集偏好,您可以根据实际场景选择优先保证设备性能还是视频质量。 setCameraCaptureConfig
4 云端录制支持通过服务端 API 接口配置 云端录制支持通过服务端接口进行录制任务的配置。 -

改进优化

序号
改进优化
特性描述
相关文档

1

优化本地视频编码属性配置

  • 支持动态调整。在 V4.5.0 版本之前,本地视频编码配置在下次开启本端视频时生效;V4.5.0 版本开始,您可以根据业务需求,在通话中动态调整视频分辨率等编码属性。
  • 分辨率设置超限时取上限值(1080P)。在 V4.5.0 版本之前,通过 setVideoConfig 设置分辨率时,如果分辨率设置超出参数上限(1080P),则取最小值 360P;V4.5.0 版本开始,取最大值 1080P。

setVideoConfig

2 静音状态下回调采集音量 支持设置静音状态下是否返回真实采集音量 setParameters:enable_report_volume_when_mute
3 设置音频设备选择策略 桌面端通过 setParameters 提供音频设备选择策略参数,可以指定 SDK 优先选择可用设备。 setParameters:audio_device_auto_select_type

API 变更

新增 API

API
API 说明
subscribeAllRemoteAudioStream 取消或恢复订阅所有远端用户音频流。
setCameraCaptureConfig 设置本地摄像头的采集偏好等配置。
onPlaybackAudioFrameBeforeMixing 获取指定远端用户混音前的音频数据。在多房间场景下可以通过 channelId 识别不同的房间。原接口 onPlaybackAudioFrameBeforeMixing 即将废弃,请改用新接口。
createChannel 创建并获取一个 IRtcChannel 对象,用于多房间场景。
IRtcChannel 接口类 在指定房间中实现实时音视频功能。通过创建多个 IRtcChannel 对象,用户可以同时加入多个房间。
IRtcChannelEventHandler 接口类 用于 SDK 向 App 发送IRtcChannel回调事件通知,App 通过继承该接口类的方法获取 SDK IRtcChannel的事件通知。
startLastmileProbeTest 开始通话前网络质量探测。
stopLastmileProbeTest 停止通话前网络质量探测。
onLastmileQuality 通话前网络上下行 last mile 质量状态回调。
onLastmileProbeResult 通话前网络上下行 Last mile 质量探测报告回调。

变更 API

API
API 说明

setParameters

增加参数 enable_report_volume_when_mute,设置本地用户静音时是否返回原始音量。 增加参数 audio_device_auto_select_type,设置音频设备自动选择策略。

NERtcVideoLayerSendStats 新增 capture_widthcapture_height,查看视频采集宽高。

setLocalVideoConfig

  • 生效时机由下次开启本段视频时生效,改为实时生效。
  • 分辨率参数设置超限时取最大值。
废弃 API
API
API 说明
onPlaybackAudioFrameBeforeMixing 即将废弃,请改用新接口 onPlaybackAudioFrameBeforeMixing。新接口在多房间场景下可以通过 channelId 识别不同的房间。

[4.4.2] - 2021-09-08

网易云信于 2021 年 9 月 8 日发布了 NERTC SDK 最新版本 V4.4.2。

问题修复

修复某些场景下的入会失败问题。

[4.4.1] - 2021-09-03

网易云信于 2021 年 9 月 3 日发布了 NERTC SDK 最新版本 V4.4.1。

新增特性

序号 新增特性 特性描述 相关文档
1 加入房间时自动生成uid 加入音视频房间时,可以不设置 uid,此时云信服务器会自动为您生成一个随机 uid,并在 onJoinChannel 中返回。 joinChannel
2 支持音频共享 在音视频房间中,本地用户可以采集本地声卡的音频数据,并传输给远端用户。 startSystemAudioLoopbackCapture
3 支持视频 AI 超分功能 客户端开启 AI 超分功能之后,符合超分条件的视频流会自动进行 AI 超分处理。 AI 超分
4 支持媒体流加密 网易云信在默认加密算法的基础上,提供了国密加密方案,进一步保障数据安全。 媒体流加密
5 支持静音状态下回调采集音量 支持设置静音状态下是否返回真实采集音量 KNERtcKeyEnableReportVolumeWhenMute

改进优化

完善音效功能。

问题修复

修复一些偶现的崩溃问题。

API 变更

新增 API

API API 说明
enableSuperResolution 启用或停止 AI 超分。
enableEncryption 开启或关闭媒体流加密。
enableLoopbackRecording 开启声卡采集。
adjustLoopbackRecordingSignalVolume 调节声卡采集信号音量。

变更 API

API API 说明
setParameters 增加参数 KNERtcKeyEnableReportVolumeWhenMute。
joinChannel 从 V4.4.0 版本开始,uid 可选且默认为 0。

废弃 API

[4.3.4] - 2021-07-13

问题修复

修复屏幕共享下偶现的crash。

[4.3.0] - 2021-06-04

网易云信于 2021 年 6 月 4 日发布了 NERTC SDK 最新版本 V4.3.0。

新增特性

序号 新增特性 特性描述 相关文档
1 伴音音量设置的生效周期调整 通过 startAudioMixing 播放伴音时,如果手动设置了伴音播放音量或发送音量,则当前通话中再次调用时默认沿用此设置。 startAudioMixing
2 支持更多伴音格式 伴音格式支持 MP3、M4A、AAC、3GP、WMA 和 WAV。 playEffect
3 视频编码属性支持旋转方向模式和镜像模式 默认情况下,SDK 在编码时不对视频作镜像和旋转操作。您可以通过参数来设置视频编码的旋转方向模式和镜像模式,以控制远端用户看到的视频画面。 setVideoConfig
4 视频流回退 网络不理想的环境下,音视频的质量都会下降。为提升用户体验,您可以通过指定接口设置视频流回退选项。在网络条件差、无法同时保证音频和视频质量的情况下,SDK 会自动将视频流从大流切换为小流,或将媒体流回退为音频流,从而提高音视频质量。 setLocalPublishFallbackOption等视频流回退相关 API。
5 跨房间媒体流转发 在 NERTC 直播场景的音视频房间中,跨房间媒体流转发功能可实现主播角色跨房间与其他主播实时交流互动,在娱乐场景下可实现跨直播间连麦效果。 跨房间媒体流转发

改进优化

优化高清音质下语音的传输码率,在弱网情况下预计减少 1/3。

API 变更

新增 API

API API 说明
setLocalPublishFallbackOption 设置弱网条件下发布的音视频流回退选项。
setRemoteSubscribeFallbackOption 设置弱网条件下订阅的音视频流回退选项。
onLocalPublishFallbackToAudioOnly 本地发布流已回退为音频流或恢复为音视频流回调。
onRemoteSubscribeFallbackToAudioOnly 远端订阅流已回退为音频流或恢复为音视频流回调。
startChannelMediaRelay 开始跨房间媒体流转发。
updateChannelMediaRelay 更新媒体流转发的目标房间。
stopChannelMediaRelay 停止跨房间媒体流转发。
onMediaRelayStateChanged 跨房间媒体流转发状态发生改变回调。
onMediaRelayEvent 媒体流相关转发事件回调。

变更 API

API 变更说明
startAudioMixing 通过 startAudioMixing 播放伴音时,如果手动设置了伴音播放音量或发送音量,则当前通话中再次调用时默认沿用此设置。
playEffect 伴音格式支持 MP3、M4A、AAC、3GP、WMA 和 WAV。
setVideoConfig 增加 mirror_mode 用于指定镜像模式;增加 orientation_mode 用于指定旋转方向模式。

废弃 API

[4.2.1] - 2021-05-19

网易云信于 2021 年 5 月 19 日发布了 NERTC SDK 最新版本 V4.2.1。

新增特性

序号 新增特性 特性描述 相关文档
1 调节远端用户在本地播放的音量 通过 adjustUserPlaybackSignalVolume 可以调节指定远端用户混音后的音频流在本地播放的音量。 adjustUserPlaybackSignalVolume

API 变更

新增 API

API API 说明
adjustUserPlaybackSignalVolume 调节本地播放的指定远端用户的信号音量。

变更 API

废弃 API

[4.2.0] - 2021-05-12

网易云信于 2021 年 5 月 12 日发布了 NERTC SDK 最新版本 V4.2.0。

新增特性

序号 新增特性 特性描述 相关文档
1 支持双人通话的独立场景 NERTC 在 V4.1.0 版本中提供了更加适合双人房间场景的底层策略,优化双人房间时的音视频质量效果。双人通话功能适用于点对点通话的业务场景,搭配呼叫组件可以实现点对点呼叫。 双人通话
2 音视频房间快速切换 NERTC SDK 通过新增 API switchChannel 支持直播场景下的音视频房间快速切换。直播场景下,音视频房间中的观众角色可以通过该方法快速切换房间。 switchChannel
3 NERTC R​estful API 支持用房间名称(cname)发起调用 音视频通话和互动直播场景的服务端 API 通过新 URL 的方式支持使用房间名称发起调用,同时原 URL 及调用方式仍旧保留以保证新老兼容。 API 概览
4 自定义音频渲染 NERTC SDK 支持自定义音频渲染功能。拉取远端发送的音频数据之后,可使用自定义的渲染器进行音频渲染。 自定义音频渲染
5 设置用户媒体流优先级 支持设置本地用户的媒体流为优先级。如果某个用户的优先级为高,那么该用户媒体流的优先级就会高于其他用户,弱网环境下 SDK 会优先保证其他用户收到的、高优先级用户的媒体流的质量。 setLocalMediaPriority
6 客户端截图功能 支持针对实时视频流进行截图,包括本地主流画面、本地辅流画面、远端主流和辅流画面。音视频通话过程中,用户可以通过视频截图功能截取实时视频流画面,以便后续的存档分析、事件备忘、证据留存等等。 视频截图
7 客户端音频录制 支持在客户端侧进行实时音频流录制,包含房间内所有用户混流后的音频数据。开启录制时可以指定录制文件的存放路径及格式、录制采样率、音质等。 客户端音频录制

改进优化

序号 新增功能 功能描述
1 优化音视频大房间的表现效果 客户端上实现音频选路策略ASL,在大房间的场景中降低客户端上性能消耗,来提升客户端上能支持的用户连接上限。配合级联服务器的使用,可以将房间内并发人数提升到万人。详细说明请参考 大房间使用说明
2 优化变声美声效果 改造现有美声变声接口,提供更加丰富的美声和混响效果。新版美声变声接口有改动,若您已接入美声功能,升级 V4.1.0 版本时请注意接口变更。详细说明请参考 美声与变声
3 视频引擎优化
  • 支持视频AI超分,通过机器学习等AI算法,改善因受限于网络带宽限制或实时性的要求导致视频分辨偏低的问题,实现低分辨率视频在传输后进行细节补充的效果以优化接收端的视频清晰度,从而提升用户体验。
  • NE265新增支持iOS端硬件编码,目前 NE265编码协议,支持mac&windows&iOS端的编码和Native全端的解码。整体压缩效率较NE264提升40,但编码速度慢25%。
4 耳机场景下效果优化 优化戴耳机场景下回声和双讲卡顿效果;优化耳返的延时,从 300ms 降低到 80ms。

问题修复

修复蓝牙耳机音频通话被系统电话打断后,无法恢复到蓝牙耳机的问题。

API 变更

新增 API

API API 说明
switchChannel 直播场景下快速切换音视频房间。
setAudioEffectPreset 设置 SDK 预设的人声的变声音效。
setVoiceBeautifierPreset 设置 SDK 预设的美声效果。
setLocalVoicePitch 设置本地语音音调。
setLocalVoiceEqualization 设置本地语音音效均衡,即自定义设置本地人声均衡波段的中心频率。
setExternalAudioRender 设置外部音频渲染。
pullExternalAudioFrame 拉取外部音频数据。
setLocalMediaPriority 设置本地用户的媒体流优先级。
takeLocalSnapshot 本地视频画面截图。
takeRemoteSnapshot 远端视频画面截图。
onTakeSnapshotResult 截图结果回调。
startAudioRecording 开始客户端录音。
stopAudioRecording 停止客户端录音。
onAudioRecording 音频录制状态回调。
setExcludeWindowList 设置共享指定屏幕区域时,需要屏蔽的窗口列表。

变更 API

API API 说明
setParameters 复杂参数设置接口,增加 1V1 参数。

废弃 API

API API 说明
setLocalVoiceEqualizationPreset 设置 SDK 预设的美声效果。推荐改用新方法 setVoiceBeautifierPreset。
setLocalVoiceEqualization 设置本地语音音效均衡。推荐改用新方法 setLocalVoiceEqualization。
setLocalVoiceChangerPreset 使用 SDK 预设的变声效果。推荐改用新方法 setAudioEffectPreset 和 setLocalVoicePitch。
setLocalVoiceReverbPreset 使用 SDK 预设的混响效果。推荐改用新方法 setVoiceBeautifierPreset。

[4.0.1] - 2021-03-05

修复

  1. 修复 video 下码率分配异常的问题。
  2. 优化音频质量。

[4.0.0] - 2021-02-24

网易云信于 2021 年 2 月 24 日发布了 NERTC SDK 最新版本 V4.0.0,在音视频能力和性能方面均有显著优化。从 V4.0.0 版本开始,NERTC 支持媒体补充增强信息(SEI)、可设置视频镜像模式、新增美声变声功能。

新增特性

序号 新增特性 特性描述 相关文档
1 发送媒体补充增强信息 NERTC 支持将时间戳等自定义数据作为流媒体补充增强信息(SEI Supplemental Enhancement Information)的一部分,通过流媒体通道将其与视频内容打包在一起,发送给远端用户,以此实现文本数据与音视频内容的精准同步的目的。 媒体补充增强信息
2 美声与变声 支持美声的预设效果、美声的自定义调节、变声的预设效果和混响的场景化效果。 美声与变声
3 自定义音频渲染 NERTC SDK 支持自定义音频渲染功能。拉取远端发送的音频数据之后,可使用自定义的渲染器进行音频渲染。 自定义音频采集与渲染

改进优化

新增功能 功能描述
伴音错误码优化 增加伴音任务状态相关的错误码,为伴音问题排查提供依据。

API 变更

新增 API

API API 说明
setLocalVoiceEqualizationPreset 设置 SDK 预设的美声效果。
setLocalVoiceEqualizations 设置本地语音音效均衡,即自定义设置本地人声均衡波段的中心频率。
setLocalVoiceReverbPreset 设置 SDK 预设的混响效果。
setLocalVoiceChangerPreset 设置 SDK 预设的人声的变声音效。
sendSEIMsg 通过主流通道发送媒体补充增强信息。
sendSEIMsg 发送媒体补充增强信息。通过本接口可指定发送 SEI 时使用主流或辅流通道。
onRecvSEIMsg 收到远端流的 SEI 内容回调。

变更 API

API API 说明
onAudioMixingStateChanged 伴音错误码回调。NERtcAudioMixingErrorCode 中增加 NERtcAudioMixingErrorFatal 等错误码。
addLiveStreamTask 创建推流任务。NERtcLiveStreamTaskInfo 增加 config 结构体,用于配置音视频流属性。
updateLiveStreamTask 更新推流任务。NERtcLiveStreamTaskInfo 增加 config 结构体,用于配置音视频流属性。

[3.9.0] - 2021-01-08

新增

  1. 新增实时音视频辅流功能。
  2. 支持设置屏幕共享内容类型。
  3. 直播模式下支持设置房间角色。
  4. 支持自定义音频输入。
  5. 音频支持 AI 降噪能力。
  6. 支持音视频啸叫检测。

技术优化

  1. 支持全新的网易自研 NEVC 编码协议,具有相较于开源的 AVC 和 HEVC 更优越的性能,同等码率下提升视频整体清晰度,提高鲁棒性和错误恢复能力,优化用户的视频感官体验。
  2. 屏幕共享画面优化,提升静态共享画面的清晰度,优化用户体验。
  3. 支持暗场景视频图像增强,优化暗场景下的通话体验。

[3.8.1] - 2020-12-04

新增

  1. 房间连接状态通知功能。
  2. 支持视频设备调试与配置。
  3. 在语音场景中新增一档高清语音选项。

[3.7.3] - 2020-11-20

优化

针对音视频引擎底层模块进行优化。

[3.7.1] - 2020-10-29

修复

1. 修复释放engine偶发的 crash 问题

2. 修复播放采样率异常触发的麦开启问题

[3.7.0] - 2020-09-28

新增

1. 新增发布流类型配置以及大小流开关。

2. 新增视频属性灵活配置。

3. 新增双声道效果支持。

优化

1. 回声消除模块优化,提升单讲、双讲场景下的音质效果。

2. 进入房间时默认打开音频设备。

[3.6.2] - 2020-08-31

新增

1.新增支持视频外部渲染。

修复

1.修复异常网络下偶现的崩溃的问题。

2.修复偶现无声音问题。

[3.6.0] - 2020-08-20

新增

1.新增音视频质量透明数据回调功能。

2.新增音视频设置房间模式功能。

3.新增伴音在线音频文件支持。

优化

1.优化本地渲染体验,使渲染效果更加流畅。

2.优化音频质量,保证多端音量稳定。

[3.5.2] - 2020-07-21

优化

1. 语音场景下优化音频降噪能力,提升默认的降噪等级。

[3.5.1] - 2020-07-06

修复

1. 修复无远端音频的情况下,音频回调不会触发的问题。

[3.5.0] - 2020-06-23

新增

1. 新增自定义视频数据输入功能。

2. 新增互动直播支持占位图片功能。

3. 新增订阅/取消订阅所有远端音频功能。

优化

1.优化视频清晰度订阅机制,通过订阅大小流的方式来选择订阅视频的清晰度。

2.优化蓝牙耳机通话场景适配。

3.优化视频抗丢包能力,视频抗丢包能力提升到40%(50ms rtt情况下)。

变更

1. 弃用通话模式设置,统一为多人会议场景。

[3.4.2] - 2020-05-28

新增

1. 支持 NAT64 网络。

优化

1. 互动直播任务,连续操作的时序保证。

[3.4.1] - 2020-05-11

优化

1. 修复了iOS在某些版本上偶现的崩溃问题。

[3.4.0] - 2020-04-28

新增

1. 新增互动直播推流功能。

2. 音频效果优化,新增音乐场景模式支持。

3. 新增网络状态回调。

优化

1. 音频通话效果优化。

2. 网络切换优化,网络变更音视频恢复更加流畅。

[3.3.0] - 2020-03-31

新增

1. 新增音频场景设置。

2. 新增音频数据回调。

3. 新增屏幕共享功能。

[3.2.0] - 2020-01-15

新增

1. 新增录屏模式。

2. 支持音视频加密功能。

3. 接口优化接入更加方便。

[3.1.0] - 2019-11-19

新增

1. 支持多人会议功能。

2. 支持多流发送与订阅功能。

[3.0.0] - 2019-09-29

新增

1. 支持音视频通话功能。

此文档是否对你有帮助?
有帮助
去反馈
  • 近期重要更新
  • [4.6.53] - 2023-05-11
  • 新增特性
  • [4.6.50] - 2023-03-28
  • 新增特性
  • 新增 API
  • [4.6.43] - 2023-02-16
  • 问题修复
  • [4.6.40] - 2023-01-10
  • 升级必看
  • 新增特性
  • 改进优化
  • 变更 API
  • [4.6.29] - 2022-11-18
  • 新增特性
  • 改进优化
  • 问题修复
  • 新增 API
  • [4.6.22] - 2022-11-02
  • 改进优化
  • [4.6.20] - 2022-09-08
  • 升级必看
  • 新增特性
  • 改进优化
  • 新增 API
  • 变更 API
  • [4.6.13] - 2022-06-29
  • 改进优化
  • [4.6.12] - 2022-06-15
  • 改进优化
  • 问题修复
  • [4.6.10] - 2022-06-01
  • 新增特性
  • 改进优化
  • API 变更
  • 新增 API
  • 变更 API
  • 废弃 API
  • [4.6.0] - 2022-02-28
  • 新增特性
  • 改进优化
  • API 变更
  • 新增 API
  • 变更 API
  • [4.5.0] - 2021-10-22
  • 新增特性
  • 改进优化
  • API 变更
  • 新增 API
  • 变更 API
  • 废弃 API
  • [4.4.2] - 2021-09-08
  • 问题修复
  • [4.4.1] - 2021-09-03
  • 新增特性
  • 改进优化
  • 问题修复
  • API 变更
  • 新增 API
  • 变更 API
  • 废弃 API
  • [4.3.4] - 2021-07-13
  • 问题修复
  • [4.3.0] - 2021-06-04
  • 新增特性
  • 改进优化
  • API 变更
  • 新增 API
  • 变更 API
  • 废弃 API
  • [4.2.1] - 2021-05-19
  • 新增特性
  • API 变更
  • 新增 API
  • 变更 API
  • 废弃 API
  • [4.2.0] - 2021-05-12
  • 新增特性
  • 改进优化
  • 问题修复
  • API 变更
  • 新增 API
  • 变更 API
  • 废弃 API
  • [4.0.1] - 2021-03-05
  • 修复
  • [4.0.0] - 2021-02-24
  • 新增特性
  • 改进优化
  • API 变更
  • 新增 API
  • 变更 API
  • [3.9.0] - 2021-01-08
  • 新增
  • 技术优化
  • [3.8.1] - 2020-12-04
  • 新增
  • [3.7.3] - 2020-11-20
  • 优化
  • [3.7.1] - 2020-10-29
  • 修复
  • [3.7.0] - 2020-09-28
  • 新增
  • 优化
  • [3.6.2] - 2020-08-31
  • 新增
  • 修复
  • [3.6.0] - 2020-08-20
  • 新增
  • 优化
  • [3.5.2] - 2020-07-21
  • 优化
  • [3.5.1] - 2020-07-06
  • 修复
  • [3.5.0] - 2020-06-23
  • 新增
  • 优化
  • 变更
  • [3.4.2] - 2020-05-28
  • 新增
  • 优化
  • [3.4.1] - 2020-05-11
  • 优化
  • [3.4.0] - 2020-04-28
  • 新增
  • 优化
  • [3.3.0] - 2020-03-31
  • 新增
  • [3.2.0] - 2020-01-15
  • 新增
  • [3.1.0] - 2019-11-19
  • 新增
  • [3.0.0] - 2019-09-29
  • 新增