本文主要介绍网易云信大模型服务。

概述

目前云信为开发者提供以下能力：

• 文生视频：输入一段文本，生成视频；目前支持通用风格以及专门优化的动漫风格；

• 图生视频：输入首帧图片或首帧和尾帧图片以及对应的文本描述，生成视频；

• 参考生视频：输入参考图图片和文本描述，生成视频。目前已支持参考人物、物品等多类主体；

• 智能超清：输入视频，生成超分补帧后的视频（固定提升到 1080P、24 帧），目前只支持针对云信模型生成的视频进行超分。

功能概览

云信目前支持多种功能，覆盖视频、音频、图像、创意玩法等各类开发场景，功能清单持续更新中：

一级功能	二级功能	功能详情
视频生成	图生视频	输入图片及提示词描述生成视频 支持自由选择视频的比例、时长、清晰度、动态幅度 支持添加背景音乐 支持选择多种模式生成
	参考生视频	参考输入图片的主体或场景生成视频 支持上传多张图片 支持自由选择视频的比例、时长、清晰度、动态幅度 支持添加背景音乐 支持选择多种模式生成
	首尾帧	输入首帧图和尾帧图，根据提示词生成视频 支持自由选择视频的比例、时长、清晰度、动态幅度 支持添加背景音乐 支持选择多种模式生成
	文生视频	输入画面的提示词直接生成视频 支持长文本描述 支持自由选择视频的比例、时长、清晰度、动态幅度 支持添加背景音乐 支持选择多种模式生成
图像生成	参考生图	参考输入图片的主体或场景生成图片 支持上传多张图片 图片角色、物体和场景始终保持高度一致 支持自由选择图片的比例、清晰度，支持2K、4K
	文生图	输入画面的提示词直接生成图片 支持长文本描述 支持自由选择图片的比例、清晰度，支持2K、4K
	图片编辑	参考输入原图与参考图，替换原图中的元素 支持上传多张图片 支持通过文本描述替换原图元素 支持自由选择图片的比例、清晰度，支持2K、4K
音频生成	文生音频	输入提示词直接生成音频 支持生成创意音效或各类背景音乐 支持自由选择音频时长
	可控文生音效	输入提示词直接生成可控时序音效 使用时间轴灵活控制多个音效的顺序与时长 支持多个音效重叠 支持自由选择音频时长
	语音合成	输入文本生成语音 可控制语音的语速、停顿、音量和多音字等 自由调整语音情绪，如高兴、悲伤、愤怒等 支持30+语言，300+音色选择
	声音复刻	上传音频进行音色复刻 随时调用复刻后的音色进行语音合成 自由调整语音情绪，如高兴、悲伤、愤怒等
模版使用	场景模版	输入图片一键调用特效模版生成视频 涵盖上百种创意模版：法式热吻、穿越全宇宙系列等
	模版成片	输入图片一键调用长视频模版成片 成片故事情节连贯、特效多样
更多能力	对口型	让视频角色按照指定文本对口型说话 支持自由选择上百种音色、语种 支持长文本输入 支持自由调节音量和语速
	数字人	为图片中的角色生成数字人视频 可让数字人进行演讲、播报等创作 支持使用300+音色或复刻音色进行语音合成
	视频延长	延伸视频的时间长度 支持延长1～7s
	智能多帧	输入多张关键帧续写视频 使用关键帧生成剧情连贯、角色一致的高品质视频 自由控制帧间时长，可选2～7s 每一帧都可使用提示词控制画面效果
	推荐提示词	输入图片生成对应的推荐提示词 支持选择提示词类型、数量 支持选择视频分辨率
	智能超清-尊享	优化视频的分辨率 支持自由选择多种分辨率1080p、2K、4K、8K

应用场景

云信视频生成模型支持的应用场景包括但不限于：

• 社交媒体互动玩法：包括双人拥抱、老照片动起来、个性化表情包等；

• 动画、游戏等短片内容制作：根据故事脚本生成视频片段并剪辑成片；

• 虚拟 IP 日常互动宣发内容制作：IP 宣发短片制作以及互动视频生成；

• 电商广告制作：生成广告空镜素材、根据静态图生成特效镜头等。

优势说明

• 动态幅度大、有想象力：生成的视频动作幅度较大，不会出现 AI PPT 的迟缓感，非常适合表现有想象力的画面或特效玩法；

• 强大的语义理解：能够准确遵循输入的 prompt 指令，特别是图-视频能力可以遵循提示词生成各种画面，抽卡更加高效；

• 动漫风格效果突出：文生成动漫风格的视频效果更好，且使用动漫图片进行图生视频时风格稳定性高很少出现风格变化等问题；

• 主体参照效果稳定：突破了图片层面很难解决的一致性问题，能够实现主体高度一致性，不再需要制作首帧图就可以生成一致性主体的视频，创作更加简单。