柏拉图数据智能。
垂直搜索和人工智能。

使用 Amazon Bedrock 和 Amazon Transcribe 的生成式 AI 创建录音摘要 | 亚马逊网络服务

日期:

会议记录是协作的重要组成部分,但它们常常被忽视。 在主导讨论、仔细聆听和打字笔记之间,关键信息很容易不被记录下来而溜走。 即使记录下来,它们也可能杂乱无章或难以辨认,从而变得无用。

在这篇文章中,我们将探讨如何使用 亚马逊转录亚马逊基岩 自动生成干净、简洁的视频或音频记录摘要。 无论是内部团队会议、会议会议还是财报电话会议,这种方法都可以帮助您将数小时的内容提炼为要点。

我们详细介绍了一个转录项目团队会议的解决方案,并总结了 Amazon Bedrock 的关键要点。 我们还讨论了如何针对其他常见场景(例如课程讲座、面试和销售电话)定制此解决方案。 继续阅读以简化和自动化您的笔记过程。

解决方案概述

通过结合 Amazon Transcribe 和 Amazon Bedrock,您可以节省时间、获取见解并增强协作。 Amazon Transcribe 是一项自动语音识别 (ASR) 服务,可让您轻松向应用程序添加语音转文本功能。 它使用先进的深度学习技术将音频准确转录为文本。 Amazon Bedrock 是一项完全托管的服务,通过单一 API 提供来自 AI21 Labs、Anthropic、Cohere、Meta、Stability AI 和 Amazon 等领先 AI 公司的高性能基础模型 (FM) 选择,以及广泛的构建生成式人工智能应用程序所需的功能。 借助 Amazon Bedrock,您可以轻松试验各种顶级 FM,并使用微调和检索增强生成 (RAG) 等技术根据您的数据私下自定义它们。

本文中提出的解决方案是使用 AWS步骤功能 当您将录音上传到指定的指定位置时触发的状态机 亚马逊简单存储服务 (亚马逊 S3)存储桶。 Step Functions 允许您创建无服务器工作流程来编排和连接 AWS 服务中的组件。 它处理底层的复杂性,因此您可以专注于应用程序逻辑。 它对于协调任务、分布式处理、ETL(提取、转换和加载)和业务流程自动化非常有用。

下图说明了高级解决方案架构。

解决方案工作流程包括以下步骤:

  1. 用户将录音存储在 S3 资产存储桶中。
  2. 此操作会触发 Step Functions 转录和摘要状态机。
  3. 作为状态机的一部分, AWS Lambda 函数被触发,该函数使用 Amazon Transcribe 转录录音并将转录内容存储在资产存储桶中。
  4. 第二个 Lambda 函数检索转录并使用 Amazon Bedrock 中的 Anthropic Claude 模型生成摘要。
  5. 最后,最终的 Lambda 函数使用 亚马逊简单通知服务 (Amazon SNS) 将录音摘要发送给收件人。

Amazon Bedrock 上 Anthropic Claude 所在的区域支持此解决方案 可使用.

状态机协调执行特定任务的步骤。 下图说明了详细过程。

先决条件

Amazon Bedrock 用户需要先请求访问模型,然后才能使用模型。 这是一次性操作。 对于此解决方案,您需要启用对 Amazon Bedrock 中的 Anthropic Claude(不是 Anthropic Claude Instant)模型的访问。 欲了解更多信息,请参阅 模型访问.

部署解决方案资源

该解决方案是使用 AWS CloudFormation 模板,找到于 GitHub回购,自动在您的 AWS 账户中预置必要的资源。 该模板需要以下参数:

  • 用于发送摘要的电子邮件地址 – 摘要将发送至此地址。 您必须先确认初始 Amazon SNS 确认电子邮件,然后才能收到其他通知。
  • 摘要说明 – 这些是为 Amazon Bedrock 模型生成摘要而提供的说明。

运行解决方案

使用 AWS CloudFormation 部署解决方案后,请完成以下步骤:

  1. 确认您应该在创建 CloudFormation 堆栈后不久收到的 Amazon SNS 电子邮件确认。
  2. 在 AWS CloudFormation 控制台上,导航到您刚刚创建的堆栈。
  3. 在堆栈的 输出 选项卡,然后查找与关联的值 AssetBucketName; 它看起来像 summary-generator-assetbucket-xxxxxxxxxxxxx.
  4. 在 Amazon S3 控制台上,导航到您的资产存储桶。

您可以在此处上传录音。 有效的文件格式包括 MP3、MP4、WAV、FLAC、AMR、OGG 和 WebM。

  1. 将您的录音上传到 recordings 文件夹中。

上传录音将自动触发 Step Functions 状态机。 对于此示例,我们使用以下位置中的示例团队会议记录: sample-recording GitHub 存储库的目录。

  1. 在 Step Functions 控制台上,导航到摘要生成器状态机。
  2. 选择运行状态的状态机名称 运行.

在这里,您可以观察状态机处理记录的进度。

  1. 当它达到它的 成功 状态,您应该会收到通过电子邮件发送的录音摘要。

或者,您可以导航到 S3 资产存储桶并在脚本文件夹中查看脚本。

查看摘要

您将收到通过电子邮件发送到您创建 CloudFormation 堆栈时提供的地址的记录摘要。 如果您在几分钟内没有收到电子邮件,请确保您确认了在创建堆栈后应收到的 Amazon SNS 确认电子邮件,然后再次上传记录,这将触发摘要过程。

此解决方案包括模拟团队会议记录,您可以使用它来测试该解决方案。 摘要将类似于以下示例。 然而,由于生成人工智能的性质,您的输出看起来会有点不同,但内容应该很接近。

以下是站立会议的要点:

  • Joe 完成了任务 EDU1 的当前状态审核,并创建了一个新任务来开发未来状态。 该新任务处于积压工作中,需要优先考虑。 他现在正在启动 EDU2,但在资源选择方面受到阻碍。
  • Rob 根据最佳实践为 SLG1 创建了标记策略,但可能需要与创建自己策略的其他团队进行协调,以采用统一的方法。 创建了一个新任务来协调标记策略。
  • Rob 已在 SLG2 调试方面取得了进展,但可能需要其他帮助。 该任务将移至 Sprint 2,以便有时间获得额外资源。

接下来的步骤:

  • Joe 将尽可能继续开发 EDU2,直到决定资源选择为止
  • 新任务需要优先协调跨团队的标记策略
  • SLG2 移至 Sprint 2
  • 从下周开始,站立会议将移至周一

展开解决方案

现在您已经有了一个可行的解决方案,以下是一些针对您的特定用例定制解决方案的潜在想法:

  • 尝试更改流程以适合您可用的源内容和所需的输出:
    • 对于有转录本的情况,请创建备用 Step Functions 工作流程来提取现有的基于文本或基于 PDF 的转录本。
    • 您可以使用 Amazon SNS 将输出发送到不同的终端节点,例如团队协作站点或团队的聊天通道,而不是使用 Amazon SNS 通过电子邮件通知收件人。
  • 尝试更改提供给 Amazon Bedrock 的 CloudFormation 堆栈参数摘要说明,以生成特定于您的使用案例的输出(这是生成式 AI 提示):
    • 在总结公司的财报电话会议时,您可以让模型重点关注潜在的有前途的机会、关注的领域以及您应该继续监控的事情。
    • 如果您使用它来总结课程讲座,该模型可以识别即将到来的作业,总结关键概念,列出事实,并过滤掉录音中的任何闲聊。
  • 对于相同的录音,为不同的受众创建不同的摘要:
    • 工程师的总结重点关注设计决策、技术挑战和即将交付的成果。
    • 项目经理的摘要重点关注时间表、成本、可交付成果和行动项目。
    • 项目发起人可以获得有关项目状态和升级的简要更新。
    • 对于较长的录音,请尝试针对不同程度的兴趣和时间投入生成摘要。 例如,创建单个句子、单个段落、单个页面或深入摘要。 除了提示之外,您可能还需要调整 max_tokens_to_sample 参数以适应不同的内容长度。

清理

要清理解决方案,请删除您之前创建的 CloudFormation 堆栈。 请注意,删除堆栈不会删除资产桶。 如果您不再需要录音或文字记录,您可以单独删除该存储桶。 Amazon Transcribe 将在 90 天后自动删除转录作业,但您可以在此之前手动删除这些作业。

结论

在这篇文章中,我们探讨了如何使用 Amazon Transcribe 和 Amazon Bedrock 自动生成干净、简洁的视频或音频记录摘要。 我们鼓励您继续评估 Amazon Bedrock、Amazon Transcribe 和其他 AWS AI 服务,例如 亚马逊Textract, 亚马逊翻译亚马逊重新认识,了解他们如何帮助您实现业务目标。


作者简介

罗布·巴恩斯 是 AWS 专业服务的首席顾问。 他与我们的客户合作,通过自动化在复杂的多账户 AWS 环境中大规模满足安全性和合规性要求。

杰森·斯特勒 是位于新英格兰地区的 AWS 的高级解决方案架构师。 他与客户合作,使 AWS 功能与他们面临的最大业务挑战保持一致。 工作之余,他花时间建造东西并与家人一起观看漫画电影。

现货图片

最新情报

现货图片

在线答疑

你好呀! 我怎么帮你?