实时音视频 SDK 接入 AI 转录/翻译

一、方案介绍

TRTC 的 AI 实时转录与翻译功能支持将房间内的音频流实时转换为文本，并可同步翻译为多种目标语言。通过 SDK 提供的 AITranscriberManager，你可以直接在客户端发起转录任务、接收识别结果并进行控制。相较于服务端接入方式，通过 SDK 接入无需自建后台调用云端 API，极大地简化了开发流程。

二、前提条件

参考 开通服务 进行资源开通。

注意：说明：

注意：语音转文本和实时翻译功能会根据调用量和模型引擎版本产生费用，详情请参见 费用详情。

三、步骤1：集成 TRTC SDK

导入 TRTC SDK 到项目中，进入 TRTC 房间并开启本地麦克风音频采集与发布。目前已经支持 iOS、Android、Windows、Mac 以及 Web 客户端直接发起转录和翻译任务，相关指引可参考：

·iOS 无 UI 集成指引

·Android 无 UI 集成指引

·Windows C++ 无 UI 集成指引

·Mac 无 UI 集成指引

·Web 无 UI 集成指引

注意：说明：

四、步骤2：获取 AITranscriberManager 实例

AITranscriberManager 是管理 AI 转录功能的核心类，你需要通过 TRTCCloud 获取其实例。

AndroidiOS&MacWindowsimport com.tencent.liteav.transcriber.AITranscriberManager;TRTCCloud mTRTCCloud = TRTCCloud.sharedInstance(context);AITranscriberManager aiTranscriberManager = mTRTCCloud.getAITranscriberManager();TRTCCloud *trtcCloud = [TRTCCloud sharedInstance];AITranscriberManager *manager = [trtcCloud getAITranscriberManager];liteav::ITRTCCloud* trtcCloud = liteav::ITRTCCloud::getTRTCShareInstance();liteav::AITranscriberManager* manager = trtcCloud->getAITranscriberManager();

五、步骤3：设置事件监听

通过设置监听器（Listener），你可以接收到房间内参与转录的用户的转录状态变化、实时转录翻译信息以及错误信息。

AndroidiOS&MacWindowsAITranscriberManager.AITranscriberListener listener = new AITranscriberManager.AITranscriberListener() { @Override public void onRealtimeTranscriberStarted(String roomId, String transcriberRobotId) { // 转录已开启 } @Override public void onReceiveTranscriberMessage(String roomId, AITranscriberManager.TranscriberMessage message) { // 处理实时转录与翻译消息 } @Override public void onRealtimeTranscriberStopped(String roomId, String transcriberRobotId, int reason) { // 转录已停止 } @Override public void onRealtimeTranscriberError(String roomId, String transcriberRobotId, int error, String errorInfo) { // 处理实时转录服务错误信息 }};aiTranscriberManager.addListener(listener);- (void)onRealtimeTranscriberStarted:(NSString *)roomId transcriberRobotId:(NSString *)transcriberRobotId { // 转录已开启}- (void)onReceiveTranscriberMessage:(NSString *)roomId message:(TranscriberMessage *)message { // 处理实时转录与翻译消息}- (void)onRealtimeTranscriberStopped:(NSString *)roomId transcriberRobotId:(NSString *)transcriberRobotId reason:(NSInteger)reason { // 转录已停止}- (void)onRealtimeTranscriberError:(NSString *)roomId transcriberRobotId:(NSString *)transcriberRobotId error:(NSInteger)error errorInfo:(NSString *)errorInfo { // 处理实时转录服务错误信息}[manager addListener:self];class MyTranscriberListener : public liteav::AITranscriberListener {public: void onRealtimeTranscriberStarted(const char* roomId, const char* transcriberRobotId) override { // 转录已开启 } void onReceiveTranscriberMessage(const char* roomId, const liteav::TranscriberMessage& message) override { // 处理实时转录与翻译消息 } void onRealtimeTranscriberStopped(const char* roomId, const char* transcriberRobotId, int reason) override { // 转录已停止 } void onRealtimeTranscriberError(const char* roomId, const char* transcriberRobotId, int error, const char* errorInfo) override { // 处理实时转录服务错误信息 }};MyTranscriberListener* listener = new MyTranscriberListener();manager->addListener(listener);

六、TranscriberMessage 转录消息详情

七、步骤4：启动转录任务

构建 TranscriberParams 参数对象，配置转录机器人 ID、源语言、目标翻译语言等信息，然后调用 startRealtimeTranscriber 开启服务。

AndroidiOS&MacWindowsAITranscriberManager.TranscriberParams params = new AITranscriberManager.TranscriberParams();params.transcriberRobotId = "my_robot"; // 可选：指定机器人 IDparams.sourceLanguage = "zh"; // 源语言：中文params.translationLanguages = Arrays.asList("en", "ja"); // 可选：不填时仅发起转录，不进行翻译params.userIdsToTranscribe = Arrays.asList("userA"); // 可选：不填时表示转录房间内所有用户aiTranscriberManager.startRealtimeTranscriber(params);TranscriberParams *params = [[TranscriberParams alloc] init];params.transcriberRobotId = @"my_robot"; // 可选：指定机器人 IDparams.sourceLanguage = @"zh"; // 源语言：中文params.translationLanguages = @[@"en", @"ja"]; // 可选：不填时仅发起转录，不进行翻译params.userIdsToTranscribe = @[@"userA"]; // 可选：不填时表示转录房间内所有用户[manager startRealtimeTranscriber:params];liteav::TranscriberParams params;params.transcriberRobotId = "my_robot"; // 可选：指定机器人 IDparams.sourceLanguage = "zh"; // 源语言：中文const char* targetLangs[] = {"en", "ja"};params.translationLanguages = targetLangs; // 可选：不填时仅发起转录，不进行翻译params.translationLanguagesCount = 2;const char* transcribeUsers[] = {"userA"};params.userIdsToTranscribe = transcribeUsers; // 可选：不填时表示转录房间内所有用户params.userIdsToTranscribeCount = 1;manager->startRealtimeTranscriber(params);

八、TranscriberParams 转录参数详情

SDK 会通过回调通知该接口的结果：

·调用成功后，你会收到 onRealtimeTranscriberStarted 回调，表示转录任务已成功开启，此时你将可以通过 onReceiveTranscriberMessage 回调接收实时转录翻译信息。

·调用失败后，你会收到 onRealtimeTranscriberError 回调，表示转录任务开启失败，此时你可以根据具体错误码做出相应措施（详情见下方 服务端错误码详情）。

九、步骤5：停止转录任务

当业务结束或不再需要转录时，调用 stopRealtimeTranscriber 停止任务以释放资源。请传入启动时使用的机器人 ID。（若启动时未指定机器人 ID 会默认生成一个，填写为空即可停止该机器人任务。）

AndroidiOS&MacWindowsaiTranscriberManager.stopRealtimeTranscriber("my_robot");[manager stopRealtimeTranscriber:@"my_robot"];manager->stopRealtimeTranscriber("my_robot");

SDK 会通过回调通知该接口的结果：

·调用成功后，你会收到 onRealtimeTranscriberStopped 回调，表示转录任务已成功停止，此时你将不会再接收到新的转录消息。

·调用失败后，你会收到 onRealtimeTranscriberError 回调，表示转录任务停止失败，此时你可以根据具体错误码做出相应措施（详情见下方 服务端错误码详情）。

十、源语言 (sourceLanguage)

十一、翻译目标语言 (translationLanguages)

十二、服务端错误码详情