更新日志

更新时间: 2023/12/01 08:52:41

近期重要更新

  • V4.6.29开始,支持高级 Token 鉴权 , 支持对用户创建、加入房间和订阅、发布音视频流的权限进行校验,帮助您有效避免客户端遭遇破解攻击的问题。
  • V4.6.20开始,支持以插件化方式集成美颜虚拟背景AI 降噪AI 啸叫检测,提升 SDK 集成的灵活性与易操作性,您可以根据需要自行选择是否集成对应特性的动态库,使 App 的包体积更小,具体请参见集成 SDK
  • V4.6.20开始,支持通过视频辅流通道开启本地摄像头采集、自定义视频源输入等,具体请参见 设置视频编码属性自定义视频采集

[4.6.61] - 2023-09-01

新增特性

序号
新增特性
特性描述
相关文档
1 外部 PCM 音频数据混音 支持将外部 PCM 数据混入RTC 本地播放或者发送远端,用于实现例如“一起看抖音” 等场景。 -

新增 API

API
API 说明
INERtcEngineEx#startExternalAudioMixingWithId:option 开启外部 PCM 音频数据混音
INERtcEngineEx#stopExternalAudioMixingWithId 关闭外部 PCM 音频数据混音
INERtcEngineEx#pushExternalAudioMixingFrameWithId:frame 推送 PCM 音频帧数据用于混音
INERtcEngineEx#setExternalAudioMixingPlaybackVolumeWithId:volume 设置外部 PCM 数据混音本地播放音量
INERtcEngineEx#getExternalAudioMixingPlaybackVolumeWithId:volume 获取外部 PCM 数据混音的播放音量
INERtcEngineEx#setExternalAudioMixingSendVolumeWithId:volume 设置外部 PCM 数据混音发送音量
INERtcEngineEx#getExternalAudioMixingSendVolumeWithId:volume 获取外部 PCM 数据混音的播放音量
NERtcEngineDelegateEx#onNERtcEngineLocalFirstAudioPacketSent 本地第一帧音频发送到远端的回调。

问题修复

  • 修复频繁调用 playEffectstopEffect 导致无响应的问题。

  • 在不开启本地音频采集但播放伴音的场景中,优化角色切换时的音频发送逻辑。

[4.6.56] - 2023-06-30

修复若干已知问题。

[4.6.53] - 2023-05-11

新增特性

序号
新增特性
特性描述
相关文档
1 自定义加密 媒体流加密新增支持自定义加密模式。除了国密算法,您可以使用自己独特的加密算法,使产品更安全、更难被攻击者破解。 媒体流加密

[4.6.52] - 2023-05-04

问题修复

修复 iOS 端的用户加入房间失败时,没有触发回调的问题。

[4.6.50] - 2023-03-28

新增特性

序号
新增特性
特性描述
相关文档
1 调节本地播放的指定房间内所有远端用户的音量。 在多房间场景中,可以使用该方法单独调整主房间或者某个子房间的所有远端用户的播放音量。 设置通话音量

改进优化

  • 优化特定情况下 AudioSession 被修改导致的音频无声问题。
  • 播放伴音时,支持选择系统自带 App 的媒体库中的音乐。

新增 API

API
API 说明
adjustChannelPlaybackSignalVolume 调节本地播放的指定房间内所有远端用户的音量。
getFrameBufferType 视频外部渲染自定义格式。

[4.6.43] - 2023-02-20

问题修复

修复了引擎创建期间,操作手机音量键,偶现的崩溃问题。

[4.6.42] - 2023-02-01

问题修复

修复部分场景下无法自动订阅音频的问题。

[4.6.40] - 2023-01-10

升级必看

  • 自 V4.6.40 起,AI 降噪功能以插件化方式提供,对应的 AI 降噪库为 NERtcAiDenoise.framework,可以与核心 SDK(基础音视频库)搭配使用,具体集成方式请参考集成 SDK

  • 自 V4.6.40 起,废弃 key kNERtcKeyVideoCaptureObserverEnabled注册视频数据回调功能请通过新接口 setVideoFrameObserver 实现。

  • 自 V4.6.40 起,新增 pushExternalSubStreamVideoEncodedFrame 接口,单独提供视频辅流编码帧的传输通道,原先的 pushExternalVideoEncodedFrame 接口只用于推送主流编码帧,因此若您已经使用原先接口实现裸流辅流输入,请修改对应代码。

新增特性

序号
新增特性
特性描述
相关文档
1 音频裸流传输支持 ASL 选路 支持将编码后音频的音量数据传递给 SDK,以支持音频裸流参与 ASL 选路。 音频裸流传输
2 自定义视频画布颜色 支持设置视频画布的背景色,当视频尺寸与显示视窗尺寸不一致时,可以自定义改变传统黑框的颜色。 NERtcVideoCanvas

改进优化

  • 支持平滑入会,优化摄像头预览期间的入会体验。
  • 支持动态设置引擎回调,提高多场景切换的易用性。

新增 API

API
API 说明
setEngineEventDelegate 设置事件通知回调。
setVideoFrameObserver 注册视频数据观测器对象。
pushExternalSubStreamVideoEncodedFrame 通过辅流通道推送外部视频编码帧。

变更 API

API
API 说明
pushExternalAudioEncodedFrame encodedAudioFrame 参数对应的 NERtcAudioEncodedFrame 类型新增 rmsLevel 字段,对应音频裸流主流的音量值。
pushExternalSubStreamAudioEncodedFrame encodedAudioFrame 参数对应的 NERtcAudioEncodedFrame 类型新增 rmsLevel 字段,对应音频裸流辅流的音量值。
setupLocalVideoCanvas canvas 参数对应的 NERtcVideoCanvas 类型新增 backgroundColor 字段,对应本端视频主流画布的背景颜色。
setupRemoteVideoCanvas canvas 参数对应的 NERtcVideoCanvas 类型新增 backgroundColor 字段,对应远端视频主流画布的背景颜色。
setupLocalSubStreamVideoCanvas canvas 参数对应的 NERtcVideoCanvas 类型新增 backgroundColor 字段,对应本端视频辅流画布的背景颜色。
setupRemoteSubStreamVideoCanvas canvas 参数对应的 NERtcVideoCanvas 类型新增 backgroundColor 字段,对应远端视频辅流画布的背景颜色。

[4.6.29] - 2022-11-18

新增特性

序号
新增特性
特性描述
相关文档
1 高级 Token 鉴权 支持对用户创建、加入房间和订阅、发布音视频流的权限进行校验,帮助您有效避免客户端遭遇破解攻击的问题。 高级 Token 鉴权
2 设置混音文件音调 支持调整伴音和音效文件的音调,以实现例如在 K 歌场景中,为了使歌曲更适合主播的声线音域,升高或降低伴奏的音阶。 音效与伴音
3 音视频裸流传输 支持音视频裸流传输,您可以向 NERTC SDK 提供自定义格式的音视频编码数据,并由 NERTC SDK 进行推流。 音频裸流传输视频裸流传输

改进优化

优化加入房间进程。

问题修复

修复伴音场景下的已知问题。

新增 API

API
API 说明
joinChannelWithToken 加入音视频房间(原同名接口保留,此接口新增 channelOptions 参数,用于携带自定义入会信息)。
updatePermissionKey 设置新的权限密钥。
setEffectPitchWithId 设置音效文件的音调。
getEffectPitchWithId 获取音效文件的音调。
setEffectPositionWithId 设置音效文件的播放位置。
setAudioMixingPitch 设置伴音文件的音调。
getAudioMixingPitch 获取伴音文件的音调。
pushExternalAudioEncodedFrame 推送外部音频主流编码帧。
pushExternalSubStreamAudioEncodedFrame 推送外部音频辅流编码帧。
setPreDecodeObserver 注册解码前媒体数据观测器。
pushExternalVideoEncodedFrame 推送外部视频主流或辅流编码帧。
setVideoEncoderQosObserver 注册视频编码 QoS 信息监听器。
onNERtcEngineUserDidJoinWithUserID 远端用户加入房间回调(原同名回调不推荐使用,此回调新增 joinExtraInfo 参数,用于返回自定义入会信息)。
onNERtcEngineUserDidLeaveWithUserID 远端用户离开房间回调(原同名回调不推荐使用,此回调新增 leaveExtraInfo 参数,用于返回自定义入会信息)。
onNERtcEnginePermissionKeyWillExpire 权限密钥即将过期回调。
onNERtcEngineUpdatePermissionKey 更新权限密钥成功回调。
onAudioEffectTimestampUpdateWithId 监听音效文件的实时播放进度。
onNERtcEnginePreDecoderFrame 解码前媒体数据回调。
onNERtcEngineRequestSendKeyFrame I 帧请求事件回调。
onNERtcEngineVideoCodecUpdated 视频编码器类型信息回调。
onNERtcEngineBitrateUpdated 视频码率信息回调。

[4.6.22] - 2022-11-02

改进优化

  1. 视频后处理中增加丢帧处理机制。
  2. 第三方美颜处理机制优化。
  3. 耳返延时优化。

问题修复

  1. 修复应用退出后台后,用户快速重新加入房间,信令恢复时的异步崩溃问题。
  2. 修复音频场景为语音聊天室场景(CHATROOM)时,SDK 识别到 otg 声卡时会自动切换到音乐场景(MUSIC)。
  3. 修复快速反复进出房间后,最后一次加入房间时无 onUserJoined 回调的问题。
  4. 修复安全通审核自动打码视频主流,但在视频辅流中生效的问题。

变更 API

API
API 说明
NERtcVideoFrame 新增 uBuffervBuffer 参数,提供 U、V 指针。

[4.6.20] - 2022-09-08

升级必看

自 V4.6.20 起,支持以插件化方式集成美颜、虚拟背景等功能,提升 SDK 集成的灵活性与易操作性,您根据需要自行选择是否集成对应特性的动态库,以实现轻量接入裁剪包,更多请参考集成 SDK

新增特性

序号
新增特性
特性描述
相关文档
1 视频辅流通道优化 支持通过视频辅流通道开启本地摄像头采集、自定义视频源输入等。 设置视频属性
2 美颜功能扩展 支持缩短脸长、调整嘴宽、淡化法令纹、淡化黑眼圈、淡化抬头纹等高级美颜效果。 云信美颜
3 监测音频辅流音量 支持监听房间内远端用户音频辅流的瞬时音量的回调。 监测发言者音量
4 旁路推流支持多幅占位图 支持设置主播离线后是否开启占位图,且支持设置占位图列表。 旁路推流画面布局

改进优化

  1. 优化高级美颜效果。
  2. 优化视频超分效果。
  3. HTTP DNS 解析优化,实现防域名劫持。

新增 API

API
API 说明
enableLocalVideo:streamType: 开启或关闭本地视频流的采集和发送(原同名接口保留,此接口新增 streamType 参数,用于开启辅流通道)。
muteLocalVideo:streamType 取消或恢复发布本地视频流(原同名接口保留,此接口新增 streamType 参数,用于开启辅流通道)。
setLocalVideoConfig:streamType 设置视频编码属性(原同名接口保留,此接口新增 streamType 参数,用于开启辅流通道)。
setCameraCaptureConfig:streamType 设置本地摄像头的采集配置(原同名接口保留,此接口新增 streamType 参数,用于开启辅流通道)。
setExternalVideoSource:streamType,enable: 开启外部视频输入(原同名接口保留,此接口新增 streamType 参数,用于开启辅流通道)。
startPreview:streamType 开启视频预览(原同名接口保留,此接口新增 streamType 参数,用于开启辅流通道)。
stopPreview:streamType 关闭视频预览(原同名接口保留,此接口新增 streamType 参数,用于开启辅流通道)。
onNERtcEngineUser:videoMuted:streamType 远端用户暂停或恢复发送视频流的回调(原同名接口保留,此接口新增 streamType 参数,用于辅流通道)。
onEngineFirstVideoFrameDecoded:width:height:streamType 已接收到远端视频首帧并完成解码的回调(原同名接口保留,此接口新增 streamType 参数,用于辅流通道)。
onNERtcEngineFirstVideoDataDidReceiveWithUserID:streamType 已显示远端视频首帧的回调(原同名接口保留,此接口新增 streamType 参数,用于辅流通道)。

变更 API

API
API 说明
onNERtcEngineLocalVideoWatermarkStateWithStreamType:state: state 参数对应的 NERtcLocalVideoWatermarkState 类型新增 kNERtcLocalVideoWatermarkStateSetSuccess 等 4 种枚举值,支持字体设置错误等新增水印异常状态回调。
onRemoteAudioVolumeIndication:totalVolume: speakers 参数对应的 NERtcAudioVolumeInfo 类型新增 subStreamVolume 字段,对应远端辅流音量回调值。
setBeautyEffectWithValue:atType: type 参数对应的 NERtcBeautyEffectType 类型新增 kNERtcBeautyShortFace 等 5 种枚举值,支持短脸等新增美颜效果。
addLiveStreamTask
  • config 参数对应的 NERtcLiveConfig 结构体新增 interruptedPlaceImage 字段,支持设置是否开启主播占位图模式。
  • layout 参数对应的 NERtcLiveStreamLayout 结构体新增 bgImgs 字段,支持设置占位图列表。bgImg 字段仍保留,但仅可设置一张占位图,建议您使用新字段。
  • NERtcLiveStreamImageInfo 结构体新增 zorder 字段,支持设置占位图的图层编号。
  • [4.6.14] - 2022-08-15

    改进优化

    修复部分场景下的偶现崩溃。

    [4.6.13] - 2022-06-29

    改进优化

    稳定性提升。

    问题修复

    修复频繁进出房间时的偶现崩溃。

    [4.6.12] - 2022-06-15

    问题修复

    1. 修复部分场景下的帧率下降问题。
    2. 修复使用虚拟背景功能场景下的已知问题。

    [4.6.10] - 2022-06-01

    新增特性

    序号
    新增特性
    特性描述
    相关文档
    1 虚拟背景 支持通过自动识别用户人像,虚化用户周围的真实环境,或者以指定颜色的图片或自定义图像替代真实背景。 虚拟背景
    2 云信美颜 云信自研的基础美颜和高级美颜功能,支持在音视频通话或互动直播场景中,对人脸进行美肤、美型等美颜调整,或通过画面滤镜改变视频的色调与氛围。 云信美颜
    3 音频辅流 支持通过辅流输入伴音文件或自定义音频源。 音效与伴音
    自定义音频采集与渲染
    4 自定义混响效果 支持自定义设置本地人声的混响回声效果,赋予声音一定的立体效果。 美声变声与混响
    5 视频编码水印 支持为视频流画面添加编码水印,例如添加公司名称、标语等文字水印、录制时间等时间戳水印、以及 logo 等图片水印。 水印

    改进优化

    1. 修复同一 uid 在多端登录导致的互踢问题。
    2. 分离音频的引擎启动逻辑和流发布逻辑,有效减少大房间的性能压力。
    3. 支持在房间中根据不同场景切换音频模式,即允许在加入房间后动态切换 audioProfile。

    API 变更

    新增 API

    API
    API 说明
    enableVirtualBackground 开启虚拟背景。
    onNERtcEngineVirtualBackgroundSourceEnabled 通知虚拟背景是否成功开启的回调。
    startBeauty 开启美颜功能模块。
    stopBeauty 结束美颜功能模块。
    isOpenBeauty 暂停或恢复美颜效果。
    setBeautyEffectWithValue 设置美颜效果。
    addTempleteWithPath 导入美颜资源或模型。
    addBeautyFilterWithPath 添加滤镜效果。
    removeBeautyFilter 移除滤镜。
    enableAudioVolumeIndication 开启说话者音量提示(原同名接口保留,此接口新增 enableVad 参数,用于设置是否启用本地采集人声监测)。
    onLocalAudioVolumeIndication 提示本地用户瞬时音量的回调(原同名接口保留,此接口新增 vadFlag 参数,用于监测是否存在人声)。
    enableLocalSubStreamAudio 开启音频辅流。
    subscribeRemoteSubStreamAudio 订阅远端用户辅流。
    muteLocalSubStreamAudio 静音本地音频辅流。
    setExternalSubStreamAudioSource 开启外部音频辅流输入。
    pushExternalSubStreamAudioFrame 推送外部音频辅流数据帧。
    onNERtcChannelUserSubStreamAudioDidStart 通知远端用户开启音频辅流的回调。
    onNERtcChannelUserSubStreamAudioDidStop 通知远端用户关闭音频辅流的回调。
    onNERtcChannelUser:subStreamAudioMuted 通知远端用户暂停或恢复音频辅流的回调。
    setAudioSubscribeOnlyBy 设置本地用户音频只能被房间内其他指定用户订阅。
    setStreamAlignmentProperty 对齐本地系统时间与服务端时间。
    getNtpTimeOffset 获取本地系统时间与服务端时间的差值。
    setLocalVoiceReverbParam 开启本地语音混响效果。
    getVersion 查询 SDK 版本号。
    switchCameraWithPosition 指定前置或后置摄像头。
    setLocalVideoWatermarkConfigs 设置视频水印。
    onNERtcEngineLocalVideoWatermarkStateWithStreamType 通知水印是否成功设置的回调。
    enableMediaPub 发布或停止发布本地音频。
    onNERtcEngineSubStreamAudioFrameDidRecord 本地音频辅流数据回调。
    onNERtcEnginePlaybackSubStreamAudioFrameBeforeMixingWithUserID 获取开启音频辅流的远端用户的辅流数据。

    变更 API

    API
    API 说明
    startAudioMixingWithOption Option 参数新增 startTimeStamp 和 sendWithAudioType 字段,设置文件播放的起始位置和音频类型。
    setAudioProfile 支持在房间内动态调用此接口设置音频属性。
    setCameraCaptureConfig Config 参数废弃 preference 字段。

    废弃 API

    API
    API 说明
    setLocalCanvasWatermarkConfigs 此接口已废弃,请使用新接口 setLocalVideoWatermarkConfigs
    setRemoteCanvasWatermarkConfigs 此接口已废弃。

    [4.6.0] - 2022-02-28

    网易云信于 2022 年 2 月 28 日发布了 NERTC SDK 最新版本 V4.6.0。

    新增特性

    序号
    新增特性
    特性描述
    相关文档
    1 设置音频订阅优先级 支持优先订阅远端某用户发布的音频流。在 ASL 策略下,即在服务器线路上选择最清晰的三条音频流传输给本地用户时,本地用户设置优先订阅一个成员的音频流后,即使该成员的说话音量较低或不够清晰,本地用户仍能接收到该指定成员的音频流。 设置音频订阅优先级
    2 音频循环缓存录制 在原有的支持实时写文件基础上,支持设置仅录制最近一段时间内的音频数据,最高为 15 分钟。 客户端音频录制
    3 视频图像畸变矫正 支持通过畸变矫正算法调整视窗内元素边角,还原真实画面和场景。 视频图像畸变矫正
    4 云代理 支持使用云代理服务穿透防火墙限制,使用固定 IP 连接到网易云信服务器。 云代理

    改进优化

    序号
    改进优化
    特性描述
    相关文档
    1 单声道最高支持码率提升 单声道最高音频码率从 64 Kbps 提升至 96 Kbps。 设置音频属性
    2 音视频 2.0 SDK 增加裁剪包选项 用户可以根据实际场景中使用功能的差异,裁剪不需要的功能项。目前可裁剪的功能项包括:视频通话、虚拟背景、耳返、AI 降噪、AI 超分、美声变声、H265 和 VP8 视频编解码技术、Protocol Buffers 协议、SCTP 协议等。 -

    API 变更

    新增 API

    API
    API 说明
    setRemoteHighPriorityAudioStream 设置某用户的音频流为高优先级。
    startAudioRecordingWithConfig 开启音频录制。
    enableVideoCorrection 开启视频图像畸变矫正功能。
    setVideoCorrectionConfig 设置视频图像矫正参数。
    setCloudProxy 开启并设置云代理服务。
    onNERtcEngineMediaRightChangeWithAudio 通知音视频权限是否被禁止的回调。
    startAudioDumpWithType 开启音频 dump。

    变更 API

    API
    API 说明
    startAudioRecording 新增参数 recordPosition、recordCycleTime,但均只可设为默认值,建议您改用新接口 startAudioRecordingWithConfig
    setParameters 新增参数 kNERtcKeyAutoSubscribeVideo。

    [4.5.3] - 2022-02-15

    V4.5.3版本主要修复如下问题:

    • 特殊场景下,加入房间卡死。
    • 在多房间场景下,后加入的房间使用自定义输入或屏幕共享时,概率出现闪退。

    [4.5.1] - 2021-11-12

    修复极端场景下的偶现崩溃。

    [4.4.2] - 2021-09-08

    网易云信于 2021 年 9 月 8 日发布了 NERTC SDK 最新版本 V4.4.2。

    问题修复

    修复某些场景下的入会失败问题。

    [4.4.1] - 2021-09-03

    网易云信于 2021 年 9 月 3 日发布了 NERTC SDK 最新版本 V4.4.1。

    新增特性

    序号 新增特性 特性描述 相关文档
    1 支持静音状态下回调采集音量 支持设置静音状态下是否返回真实采集音量 KNERtcKeyEnableReportVolumeWhenMute

    改进优化

    完善音效功能。

    问题修复

    修复一些偶现的崩溃问题。

    API 变更

    变更 API

    API API 说明
    setParameters 增加参数 KNERtcKeyEnableReportVolumeWhenMute。

    [4.4.0] - 2021-07-13

    网易云信于 2021 年 7 月 13 日发布了 NERTC SDK 最新版本 V4.4.0。

    新增特性

    序号 新增特性 特性描述 相关文档
    1 加入房间时自动生成uid 加入音视频房间时,可以不设置 uid,此时云信服务器会自动为您生成一个随机 uid。此 uid 在 NERtcJoinChannelCompletion 中返回,请注意处理相关逻辑。 joinChannelWithToken:
    2 支持视频 AI 超分功能 客户端开启 AI 超分功能之后,符合超分条件的视频流会自动进行 AI 超分处理。 AI 超分
    3 支持媒体流加密 网易云信在默认加密算法的基础上,提供了国密加密方案,进一步保障数据安全。 媒体流加密

    改进优化

    • 网络类型检测新增 5G 类型。
    • 解耦麦克风和伴音功能,在不开本地音频采集的前提下,可以直接使用伴音。
    • 优化跨网情况下网络重连场景。当用户网络发现变更时,对应的媒体服务器地址也会择优重连。

    API 变更

    新增 API

    API API 说明
    getEffectDurationWithId 获取音效文件时长。
    getEffectCurrentPositionWithId 获取音效的播放进度。
    enableSuperResolution 启用或停止 AI 超分。
    enableEncryption 开启或关闭媒体流加密。

    变更 API

    API 变更说明
    startAudioMixingWithOption: 从 V4.4.0 版本开始,开启或关闭本地音频采集的操作不再影响音乐文件播放,即 enableLocalAudio(false) 后仍旧可以播放音乐文件。
    joinChannelWithToken: 从 V4.4.0 版本开始,uid 可选且默认为 0。
    onNERtcEngineNetworkConnectionTypeChanged: 增加 CONNECTION_5G 枚举。
    [NERtcJoinChannelCompletion](https://dev.yunxin.163.com/docs/interface/NERTC_SDK/Latest/iOS/html/_i_n_e_rtc_engine_8h.html#abf9afd16d82ddd34d2c4e3afb2b48e10) NERtcJoinChannelCompletion 增加 uid,表示本地用户 ID。请注意相关逻辑适配。

    废弃 API

    [4.3.2] - 2021-06-23

    修复了伴音相关的稳定性问题。

    [4.3.0] - 2021-06-04

    网易云信于 2021 年 6 月 4 日发布了 NERTC SDK 最新版本 V4.3.0。

    新增特性

    序号 新增特性 特性描述 相关文档
    1 伴音音量设置的生效周期调整 通过 startAudioMixingWithOption: 播放伴音时,如果手动设置了伴音播放音量或发送音量,则当前通话中再次调用时默认沿用此设置。 startAudioMixingWithOption:
    2 支持更多伴音格式 伴音格式支持 MP3、M4A、AAC、3GP、WMA 和 WAV。 playEffectWitdId:effectOption:
    3 在音视频通话协议中支持 VP8 编解码 移动端新增了 VP8 编解码器,可以与仅支持 VP8 的浏览器通过 VP8 编码进行音视频通话。 -
    4 视频编码属性支持旋转方向模式和镜像模式 默认情况下,SDK 在编码时不对视频作镜像和旋转操作。您可以通过参数来设置视频编码的旋转方向模式和镜像模式,以控制远端用户看到的视频画面。 setLocalVideoConfig:
    5 视频流回退 网络不理想的环境下,音视频的质量都会下降。为提升用户体验,您可以通过指定接口设置视频流回退选项。在网络条件差、无法同时保证音频和视频质量的情况下,SDK 会自动将视频流从大流切换为小流,或将媒体流回退为音频流,从而提高音视频质量。 setLocalPublishFallbackOption等视频流回退相关 API。

    改进优化

    优化高清音质下语音的传输码率,在弱网情况下预计减少 1/3。

    API 变更

    新增 API

    API API 说明
    setVideoRotationMode 设置本地视频画面的旋转模式。
    adjustUserPlaybackSignalVolume 调节本地播放的指定远端用户的信号音量。
    setLocalPublishFallbackOption 设置弱网条件下发布的音视频流回退选项。
    setRemoteSubscribeFallbackOption 设置弱网条件下订阅的音视频流回退选项。
    onNERtcEngineLocalPublishFallbackToAudioOnly:streamType: 本地发布流已回退为音频流或恢复为音视频流回调。
    onNERtcEngineRemoteSubscribeFallbackToAudioOnly:isFallback:streamType: 远端订阅流已回退为音频流或恢复为音视频流回调。

    变更 API

    API 变更说明
    startAudioMixingWithOption: 通过 startAudioMixingWithOption: 播放伴音时,如果手动设置了伴音播放音量或发送音量,则当前通话中再次调用时默认沿用此设置。
    playEffectWitdId:effectOption: 伴音格式支持 MP3、M4A、AAC、3GP、WMA 和 WAV。
    setLocalVideoConfig: 增加 mirrorMode 用于指定镜像模式;增加 orientationMode 用于指定旋转方向模式。

    废弃 API

    [4.2.1] - 2021-05-19

    网易云信于 2021 年 5 月 19 日发布了 NERTC SDK 最新版本 V4.2.1。

    新增特性

    序号 新增特性 特性描述 相关文档
    1 调节远端用户在本地播放的音量 通过 adjustUserPlaybackSignalVolume 可以调节指定远端用户混音后的音频流在本地播放的音量。 adjustUserPlaybackSignalVolume
    2 跨房间媒体流转发 在 NERTC 直播场景的音视频房间中,跨房间媒体流转发功能可实现主播角色跨房间与其他主播实时交流互动,在娱乐场景下可实现跨直播间连麦效果。 跨房间媒体流转发

    API 变更

    新增 API

    API API 说明
    adjustUserPlaybackSignalVolume 调节本地播放的指定远端用户的信号音量。
    startChannelMediaRelay: 开始跨房间媒体流转发。
    updateChannelMediaRelay: 更新媒体流转发的目标房间。
    stopChannelMediaRelay 停止跨房间媒体流转发。
    onNERtcEngineChannelMediaRelayStateDidChange:channelName: 跨房间媒体流转发状态发生改变回调。
    onNERtcEngineDidReceiveChannelMediaRelayEvent:channelName:error: 媒体流相关转发事件回调。

    变更 API

    废弃 API

    [4.2.0] - 2021-05-12

    网易云信于 2021 年 5 月 12 日发布了 NERTC SDK 最新版本 V4.2.0。

    新增特性

    序号 新增特性 特性描述 相关文档
    1 设置用户媒体流优先级 支持设置本地用户的媒体流为优先级。如果某个用户的优先级为高,那么该用户媒体流的优先级就会高于其他用户,弱网环境下 SDK 会优先保证其他用户收到的、高优先级用户的媒体流的质量。 setLocalMediaPriority
    2 客户端截图功能 支持针对实时视频流进行截图,包括本地主流画面、本地辅流画面、远端主流和辅流画面。音视频通话过程中,用户可以通过视频截图功能截取实时视频流画面,以便后续的存档分析、事件备忘、证据留存等等。 视频截图
    3 画布水印功能 视频画布中支持添加文字水印、时间戳水印和图片水印,适用于信息安全、版权声明、防伪、宣传等场景。 水印
    4 客户端音频录制 支持在客户端侧进行实时音频流录制,包含房间内所有用户混流后的音频数据。开启录制时可以指定录制文件的存放路径及格式、录制采样率、音质等。 客户端音频录制

    改进优化

    序号 新增功能 功能描述
    1 优化耳机场景表现效果 优化戴耳机场景下回声和双讲卡顿效果;优化耳返的延时,从 300ms 降低到 80ms。
    2 iOS 端支持 AI 视频超分 通过信号的抽取或者插入来实现低分辨率视频在传输后进行细节补充的效果,以优化接收端的视频清晰度、从而提升用户体验,CPU 和 GPU 的开销在业务可接受范围内。

    问题修复

    修复蓝牙耳机音频通话被系统电话打断后,无法恢复到蓝牙耳机的问题。

    API 变更

    新增 API

    API API 说明
    setLocalMediaPriority 设置本地用户的媒体流优先级。
    takeLocalSnapshot 本地视频画面截图。
    takeRemoteSnapshot 远端视频画面截图。
    onTakeSnapshotResult 截图结果回调。
    setLocalCanvasWatermarkConfigs 添加本地视频画布水印。
    setRemoteCanvasWatermarkConfigs 添加远端视频画布水印。
    startAudioRecording 开始客户端录音。
    stopAudioRecording 停止客户端录音。
    onNERtcEngineAudioRecording 音频录制状态回调。

    变更 API

    废弃 API

    [4.1.1] - 2021-04-19

    H265 硬编解码兼容提升。

    [4.1.0] - 2021-04-07

    网易云信于 2021 年 4 月 7 日发布了 NERTC SDK 最新版本 V4.1.0。

    新增特性

    序号 新增特性 特性描述 相关文档
    1 支持双人通话的独立场景 NERTC 在 V4.1.0 版本中提供了更加适合双人房间场景的底层策略,优化双人房间时的音视频质量效果。双人通话功能适用于点对点通话的业务场景 双人通话
    2 NERTC R​estful API 支持用房间名称(cname)发起调用 音视频通话和互动直播场景的服务端 API 通过新 URL 的方式支持使用房间名称发起调用,同时原 URL 及调用方式仍旧保留以保证新老兼容。 API 概览
    3 互动直播推流高清音质 对于高音质需求的场景,NERTC 提供灵活的互动直播音质调整策略,在创建推流任务时,支持采样率、声道数、编码格式等设置。 音视频流配置
    4 互动直播支持画布层级 互动直播场景中,推流画面的画布层级可以通过新增参数 zOrder 实现自定义的画布层叠设计,让画布设计更为自由。 旁路推流画面布局
    5 互动直播支持自定义消息 V4.1.0 新版本提供了互动直播场景下自定义消息的能力,帮助您实现信令与互动直播音画同步的场景。调用服务端 API 实现互动直播时,可以通过 extraInfo 参数传递自定义信息。 创建推流任务

    改进优化

    序号 新增功能 功能描述
    1 优化音视频大房间的表现效果 客户端上实现音频选路策略ASL,在大房间的场景中降低客户端上性能消耗,来提升客户端上能支持的用户连接上限。配合级联服务器的使用,可以将房间内并发人数提升到万人。详细说明请参考 大房间使用说明
    2 优化变声美声效果 改造现有美声变声接口,提供更加丰富的美声和混响效果。新版美声变声接口有改动,若您已接入美声功能,升级 V4.1.0 版本时请注意接口变更。详细说明请参考 美声与变声
    3 视频引擎优化
    • 支持视频AI超分,通过机器学习等AI算法,改善因受限于网络带宽限制或实时性的要求导致视频分辨偏低的问题,实现低分辨率视频在传输后进行细节补充的效果以优化接收端的视频清晰度,从而提升用户体验。
    • NE265新增支持iOS端硬件编码,目前 NE265编码协议,支持mac&windows&iOS端的编码和Native全端的解码。整体压缩效率较NE264提升40,但编码速度慢25%。
    • NE264新增支持AOS端的硬件编码器,编码效率更高,优化支持硬件编码的设备上的用户体验。

    API 变更

    新增 API

    API API 说明
    setAudioEffectPreset 设置 SDK 预设的人声的变声音效。
    setVoiceBeautifierPreset 设置 SDK 预设的美声效果。
    setLocalVoicePitch 设置本地语音音调。
    setLocalVoiceEqualizationOfBandFrequency:withGain 设置本地语音音效均衡,即自定义设置本地人声均衡波段的中心频率。

    变更 API

    API API 说明
    setParameters 复杂参数设置接口。
    addLiveStreamTask 创建推流任务。

    NERtcLiveStreamTaskInfo 的 config 结构体增加 audioCodecProfile、channels 和 sampleRate。NERtcLiveStreamUserTranscoding 增加 zOrder。

    updateLiveStreamTask 更新推流任务。

    NERtcLiveStreamTaskInfo 的 config 结构体增加 audioCodecProfile、channels 和 sampleRate。NERtcLiveStreamUserTranscoding 增加 zOrder。

    废弃 API

    API API 说明
    setLocalVoiceEqualizationPreset 设置 SDK 预设的美声效果。推荐改用新方法 setVoiceBeautifierPreset。
    setLocalVoiceEqualizations 设置本地语音音效均衡。推荐改用新方法 setLocalVoiceEqualizationOfBandFrequency:withGain。
    setLocalVoiceChangerPreset 使用 SDK 预设的变声效果。推荐改用新方法 setAudioEffectPreset 和 setLocalVoicePitch。
    setLocalVoiceReverbPreset 使用 SDK 预设的混响效果。推荐改用新方法 setVoiceBeautifierPreset。

    [4.0.3] - 2021-03-26

    修复

    • 修复偶现的crash问题
    • 优化音视频通话过程中带宽使用情况

    [4.0.1] - 2021-03-05

    修复

    1. 修复 video 下码率分配异常的问题。
    2. 优化音频质量。

    [4.0.0] - 2021-02-24

    网易云信于 2021 年 2 月 24 日发布了 NERTC SDK 最新版本 V4.0.0,在音视频能力和性能方面均有显著优化。从 V4.0.0 版本开始,NERTC 支持媒体补充增强信息(SEI)、可设置视频镜像模式、新增美声变声功能。

    新增特性

    序号 新增特性 特性描述 相关文档
    1 发送媒体补充增强信息 NERTC 支持将时间戳等自定义数据作为流媒体补充增强信息(SEI Supplemental Enhancement Information)的一部分,通过流媒体通道将其与视频内容打包在一起,发送给远端用户,以此实现文本数据与音视频内容的精准同步的目的。 媒体补充增强信息
    2 设置视频的镜像模式 iOS 端支持设置视频的镜像模式。 设置镜像模式
    3 美声与变声 支持美声的预设效果、美声的自定义调节、变声的预设效果和混响的场景化效果。 美声与变声
    4 自定义音频渲染 NERTC SDK 支持自定义音频渲染功能。拉取远端发送的音频数据之后,可使用自定义的渲染器进行音频渲染。 自定义音频采集与渲染
    5 旁路推流支持设置音频码率 旁路推流过程中,NERTC 在云端混流转码后可以自定义设置输出的音频码率,语音场景建议使用 64 kbps,音乐场景建议使用 128 kbps。 设置音频码率
    6 旁路推流支持单路视频透传 在互动直播的旁路推流过程中,如果房间中只有一路视频流输入,则不对输入视频流进行转码、不遵循转码布局,直接推流 CDN。 开启单路视频透传

    改进优化

    新增功能 功能描述
    伴音错误码优化 增加伴音任务状态相关的错误码,为伴音问题排查提供依据。

    API 变更

    新增 API

    API API 说明
    setLocalVoiceEqualizationPreset 设置 SDK 预设的美声效果。
    setLocalVoiceEqualizations 设置本地语音音效均衡,即自定义设置本地人声均衡波段的中心频率。
    setLocalVoiceReverbPreset 设置 SDK 预设的混响效果。
    setLocalVoiceChangerPreset 设置 SDK 预设的人声的变声音效。
    sendSEIMsg 通过主流通道发送媒体补充增强信息。
    sendSEIMsg 发送媒体补充增强信息。通过本接口可指定发送 SEI 时使用主流或辅流通道。
    NERtcEngineVideoSEIObserver 注册 SEI 观测者。注册观测器并拉流成功后,当远端流发送SEI,本端会收到onNERtcEngineRecvSEIMsg回调。
    onNERtcEngineRecvSEIMsg 收到远端流的 SEI 内容回调。
    setExternalAudioRender 设置外部音频渲染
    pullExternalAudioFrame 拉取外部音频数据

    变更 API

    API API 说明
    onAudioMixTaskStateChanged 伴音错误码回调,NERtcAudioMixingErrorCode增加kNERtcAudioMixingErrorFatal 等错误码。
    NERtcVideoCanvas 画布类中增加 mirrorMode,用于设置视频镜像模式。
    addLiveStreamTask 创建推流任务。NERtcLiveStreamTaskInfo 增加 config 结构体,用于配置音视频流属性。
    updateLiveStreamTask 更新推流任务。NERtcLiveStreamTaskInfo 增加 config 结构体,用于配置音视频流属性。
    setAudioProfile 设置音频场景与模式。scenario 参数新增 CHATROOM 枚举值,表示语音聊天室场景。

    [3.9.0] - 2021-01-08

    新增

    1. 新增实时音视频辅流功能。
    2. 支持设置屏幕共享内容类型。
    3. 直播模式下支持设置房间角色。
    4. 支持自定义音频输入。
    5. 音频支持 AI 降噪能力。
    6. 支持音视频啸叫检测。

    技术优化

    1. 支持全新的 NEVC 编码协议,同等码率下提升视频整体清晰度,提高鲁棒性和错误恢复能力。
    2. 屏幕共享画面优化,提升静态共享画面的清晰度,优化用户体验。
    3. 支持暗场景视频图像增强,优化暗场景下的通话体验。

    [3.8.1] - 2020-12-04

    新增

    1. 房间连接状态通知功能。
    2. 支持视频设备调试与配置。
    3. 在语音场景中新增一档高清语音选项。

    [3.7.3] - 2020-11-20

    优化

    针对音视频引擎底层模块进行优化。

    [3.7.1] - 2020-10-29

    修复

    1. 修复释放engine偶发的 crash 问题

    2. 修复播放采样率异常触发的麦开启问题

    [3.7.0] - 2020-09-28

    新增

    1. 新增发布流类型配置以及大小流开关。

    2. 新增视频属性灵活配置。

    3. 新增双声道效果支持。

    优化

    1. 回声消除模块优化,提升单讲、双讲场景下的音质效果。

    2. 进入房间时默认打开音频设备。

    [3.6.2] - 2020-08-31

    新增

    1.新增支持视频外部渲染。

    修复

    1.修复异常网络下偶现的崩溃的问题。

    2.修复偶现无声音问题。

    [3.6.0] - 2020-08-20

    新增

    1.新增音视频质量透明数据回调功能。

    2.新增音视频设置房间模式功能。

    3.新增伴音在线音频文件支持。

    优化

    1.优化本地渲染体验,使渲染效果更加流畅。

    2.优化音频质量,保证多端音量稳定。

    [3.5.2] - 2020-07-21

    优化

    1. 语音场景下优化音频降噪能力,提升默认的降噪等级。

    [3.5.1] - 2020-07-06

    修复

    1. 修复无远端音频的情况下,音频回调不会触发的问题。

    [3.5.0] - 2020-06-23

    新增

    1. 新增自定义视频数据输入功能。

    2. 新增互动直播支持占位图片功能。

    3. 新增订阅/取消订阅所有远端音频功能。

    优化

    1.优化视频清晰度订阅机制,通过订阅大小流的方式来选择订阅视频的清晰度。

    2.优化蓝牙耳机通话场景适配。

    3.优化视频抗丢包能力,视频抗丢包能力提升到40%(50ms rtt情况下)。

    变更

    1. 弃用通话模式设置,统一为多人会议场景。

    [3.4.2] - 2020-05-28

    新增

    1. 支持 NAT64 网络。

    优化

    1. 互动直播任务,连续操作的时序保证。

    [3.4.1] - 2020-05-11

    优化

    1. 修复了iOS在某些版本上偶现的崩溃问题。

    [3.4.0] - 2020-04-28

    新增

    1. 新增互动直播推流功能。

    2. 音频效果优化,新增音乐场景模式支持。

    3. 新增网络状态回调。

    优化

    1. 音频通话效果优化。

    2. 网络切换优化,网络变更音视频恢复更加流畅。

    [3.3.0] - 2020-03-31

    新增

    1. 新增音频场景设置。

    2. 新增音频数据回调。

    3. 新增屏幕共享功能。

    [3.2.0] - 2020-01-15

    新增

    1. 新增录屏模式。

    2. 支持音视频加密功能。

    3. 接口优化接入更加方便。

    [3.1.0] - 2019-11-19

    新增

    1. 支持多人会议功能。

    2. 支持多流发送与订阅功能。

    [3.0.0] - 2019-09-29

    新增

    1. 支持音视频通话功能。

    此文档是否对你有帮助?
    有帮助
    去反馈
    • 近期重要更新
    • [4.6.61] - 2023-09-01
    • 新增特性
    • 新增 API
    • 问题修复
    • [4.6.56] - 2023-06-30
    • [4.6.53] - 2023-05-11
    • 新增特性
    • [4.6.52] - 2023-05-04
    • 问题修复
    • [4.6.50] - 2023-03-28
    • 新增特性
    • 改进优化
    • 新增 API
    • [4.6.43] - 2023-02-20
    • 问题修复
    • [4.6.42] - 2023-02-01
    • 问题修复
    • [4.6.40] - 2023-01-10
    • 升级必看
    • 新增特性
    • 改进优化
    • 新增 API
    • 变更 API
    • [4.6.29] - 2022-11-18
    • 新增特性
    • 改进优化
    • 问题修复
    • 新增 API
    • [4.6.22] - 2022-11-02
    • 改进优化
    • 问题修复
    • 变更 API
    • [4.6.20] - 2022-09-08
    • 升级必看
    • 新增特性
    • 改进优化
    • 新增 API
    • 变更 API
    • [4.6.14] - 2022-08-15
    • 改进优化
    • [4.6.13] - 2022-06-29
    • 改进优化
    • 问题修复
    • [4.6.12] - 2022-06-15
    • 问题修复
    • [4.6.10] - 2022-06-01
    • 新增特性
    • 改进优化
    • API 变更
    • 新增 API
    • 变更 API
    • 废弃 API
    • [4.6.0] - 2022-02-28
    • 新增特性
    • 改进优化
    • API 变更
    • 新增 API
    • 变更 API
    • [4.5.3] - 2022-02-15
    • [4.5.1] - 2021-11-12
    • [4.4.2] - 2021-09-08
    • 问题修复
    • [4.4.1] - 2021-09-03
    • 新增特性
    • 改进优化
    • 问题修复
    • API 变更
    • 变更 API
    • [4.4.0] - 2021-07-13
    • 新增特性
    • 改进优化
    • API 变更
    • 新增 API
    • 变更 API
    • 废弃 API
    • [4.3.2] - 2021-06-23
    • [4.3.0] - 2021-06-04
    • 新增特性
    • 改进优化
    • API 变更
    • 新增 API
    • 变更 API
    • 废弃 API
    • [4.2.1] - 2021-05-19
    • 新增特性
    • API 变更
    • 新增 API
    • 变更 API
    • 废弃 API
    • [4.2.0] - 2021-05-12
    • 新增特性
    • 改进优化
    • 问题修复
    • API 变更
    • 新增 API
    • 变更 API
    • 废弃 API
    • [4.1.1] - 2021-04-19
    • [4.1.0] - 2021-04-07
    • 新增特性
    • 改进优化
    • API 变更
    • 新增 API
    • 变更 API
    • 废弃 API
    • [4.0.3] - 2021-03-26
    • 修复
    • [4.0.1] - 2021-03-05
    • 修复
    • [4.0.0] - 2021-02-24
    • 新增特性
    • 改进优化
    • API 变更
    • 新增 API
    • 变更 API
    • [3.9.0] - 2021-01-08
    • 新增
    • 技术优化
    • [3.8.1] - 2020-12-04
    • 新增
    • [3.7.3] - 2020-11-20
    • 优化
    • [3.7.1] - 2020-10-29
    • 修复
    • [3.7.0] - 2020-09-28
    • 新增
    • 优化
    • [3.6.2] - 2020-08-31
    • 新增
    • 修复
    • [3.6.0] - 2020-08-20
    • 新增
    • 优化
    • [3.5.2] - 2020-07-21
    • 优化
    • [3.5.1] - 2020-07-06
    • 修复
    • [3.5.0] - 2020-06-23
    • 新增
    • 优化
    • 变更
    • [3.4.2] - 2020-05-28
    • 新增
    • 优化
    • [3.4.1] - 2020-05-11
    • 优化
    • [3.4.0] - 2020-04-28
    • 新增
    • 优化
    • [3.3.0] - 2020-03-31
    • 新增
    • [3.2.0] - 2020-01-15
    • 新增
    • [3.1.0] - 2019-11-19
    • 新增
    • [3.0.0] - 2019-09-29
    • 新增