AI 数字人概述

更新时间: 2024/09/27 10:50:00

网易云信即时通讯(NIM)提供的 UI 组件(UI Kit)从 10.3.0 版本起支持 AI 数字人功能,支持您在即时通讯场景中组件化调用 AI 数字人的能力,并通过功能开关在应用层面实现全局一键关闭或启用 AI 数字人能力。

AI 数字人目前从实现层面而言,常见的类型有 AI 聊数字人、AI 翻译数字人、以及 AI 划词搜索数字人。

AI 聊 是网易云信即时通讯 IM 的创新功能,终端用户可以在 IM 单聊场景里,直接艾特(@)AI 数字人,快速参与到好友互动中,无需拉群或加好友,以第三人称提供 AI 辅助和聊天互动。

功能概览

  • 在会话列表中,新增置顶 AI 数字人会话。

  • 在通讯录页面,新增我的 AI 数字人。

  • 在会话聊天中,支持 AI 数字人聊天功能。详情请参考 实现与 AI 数字人聊天。包括:

    • 在会话中,支持 AI 数字人聊天功能。
    • 在群聊中,支持添加 AI 数字人,并 @ AI 数字人,AI 数字人会对您的消息进行回复。
  • 在会话聊天中,支持 AI 划词搜索功能。详情请参考 实现划词搜索

  • 在会话聊天中,支持 AI 翻译功能。详情请参考 实现多国语言翻译

    大概功能实现效果如下图所示:

AI 划词搜索
image2.png
AI 语言翻译
image1.png

AI 数字人配置

添加 AI 数字人

AI 数字人配置的第一步是在网易云信控制台上添加并配置一个 AI 数字人,步骤如下,如果您已经完成了部分步骤,则可相应跳过:

  1. 网易云信控制台 上创建了至少一个应用。详细步骤请参考 创建应用并获取 AppKey
  2. 为应用开通了 IM 产品。详细步骤请参考 开通或试用服务
  3. 添加了至少一个 AI 数字人,包括 AI 聊天数字人、AI 搜索数字人、AI 翻译数字人。详细步骤请参考 开通和添加 AI 数字人

配置 AI 聊数字人

在实现层面,数字人被视为一种特殊的用户,添加了数字人 后,您需要调用服务端 /im/v2/users/:{account_id} 接口,将数字人的账号 ID(account_id)传入,并在 extension 字段中加入 AI 聊数字人的信息扩展,如下所示,即可被 IM UIKit 识别为 AI 聊数字人。

  • aichat:1 表示该数字人功能定位为 AI 聊数字人,可以进行聊天或者置顶到会话列表。

  • welcomeText:用户首次进入 AI 数字人聊天页面,AI 数字人发送的欢迎消息。

  • pinDefault:表示该 AI 数字人是否置顶到会话列表中。1 表示置顶,0 表示不置顶。默认为不置顶。

    JSON{
        "aiChat": 1,
        "welcomeText": "欢迎使用 AI 聊数字人",
        "pinDefault": 1
    }
    

配置其他 AI 数字人

当您在网易云信控制台上配置 AI 数字人时,只能配置 AI 聊数字人功能相关配置。如果是其他功能类型 AI 数字人,例如 AI 多国语言翻译、AI 划词搜索,则需要在应用中接入 IM UIKit 进行配置。

在登录成功之后,您需要根据网易云信控制台配置的 AI 数字人进行筛选,并确定负责 AI 翻译或者 AI 划词的数字人。然后在接口方法中,将网易云信控制台上配置的 AI 数字人作为入参,如下所示。

TypeScriptimport React from 'react'
import { Provider } from '@xkit-yx/im-kit-ui'

const localOptions = {
      // ...
      // AI 功能是否开启
      aiVisible: true,
      // AI 提供者
      aiUserAgentProvider: {
        /**
         * 指定 AI 翻译数字人
         */
          getAITranslateUser?(user: V2NIMAIUser[]): V2NIMAIUser | void {
              // Demo 根据 accid 匹配,具体值跟随业务后台配置
              return users.find((item) => item.accountId === '')
          }

        /**
         * 指定 AI 翻译语言
         */
        getAITranslateLangs?(user: V2NIMAIUser[]): string[] {
            return ["英语", "日语", "韩语", "俄语"]
        }

        /**
         * 注册 AI 划词搜索数字人
         */
        getAISearchUser: (users: V2NIMAIUser[]): V2NIMAIUser | void => {
          // Demo 根据 accid 匹配,具体值根据业务后台配置的来
          return users.find((item) => item.accountId === '')
        }
      },
}

const App = () => {
    const props = {...}

    return <Provider {...props} localOptions />
}

AI 数字人开关

IM UIKit 提供全局功能开关,用来控制是否使用 AI 数字人相关功能。一旦您将功能开关设置为 false,则所有跟 AI 数字人相关功能均不可用。

TypeScriptconst localOptions = { aiVisible: false }
此文档是否对你有帮助?
有帮助
去反馈
  • 功能概览
  • AI 数字人配置
  • 添加 AI 数字人
  • 配置 AI 聊数字人
  • 配置其他 AI 数字人
  • AI 数字人开关