理解亚马逊云科技Amazon Bedrock token的含义

关键字: [Amazon Bedrock, Amazon Bedrock, Generative Ai, Foundation Models, Token Count, Model Invocations]

本文字数: 400, 阅读完需: 2 分钟

导读

演讲者阐释了在亚马逊云科技Amazon Bedrock的背景下,token 的含义。亚马逊云科技Amazon Bedrock是一项来自亚马逊云科技的生成式人工智能服务。他探讨了 token 如何代表被分解为较小单元的输入文本,以便语言模型进行处理,以及不同模型可能使用不同的标记器来分解文本。演讲者演示了如何在亚马逊云科技控制台中查看 token 计数和记录模型调用,为了解和监控 token 使用情况提供了见解,旨在优化成本和故障排除。

演讲精华

在亚马逊云科技(AWS)新推出的Amazon Bedrock GenAI服务中,“token”扮演着关键角色。它是定价的基础单位,亚马逊云科技根据输入和输出的token数量计费。因此,全面理解token的概念对于开发者来说至关重要。

Token实际上是将文本分解为模型可识别的数字片段的过程。Mike Chambers通过一个本地Falcon模型的示例,展示了如何将文本”hello world”分解为两个token。当输入”hello, comma, world, exclamation mark”时,则被分解为四个token:“hello”、“,”、“world”和”!“。对于复合词”amazon bedrock is awesome exclamation mark”,则被拆分为七个token:“amazon”、“bed”、“rock”、“is”、“aw”、“sum”和”!“。但在纠正”awesome”的拼写错误后,它就成为了一个单独的token。

值得注意的是,不同的模型提供商可能使用不同的tokenizer,因此相同的输入可能产生不同的token数量。Amazon Bedrock提供了来自AI21 Labs、Amazon、Anthropic、Cohere和Stability AI等五家供应商的模型。

为了了解输入与token数量的关系,Mike演示了如何在亚马逊云科技控制台中查看CloudWatch指标。他选择了AI21 Labs的Jurassic II Ultra模型,输入了”amazon bedrock is awesome!“作为示例提示。通过CloudWatch指标,可以看到该输入的token计数为5。通过持续监控这些指标,开发者可以更好地把握不同提示与token数量之间的关系,优化提示的设计,从而更好地控制成本。

除了指标之外,Amazon Bedrock还支持在CloudWatch日志中记录调用请求和响应。Mike创建了一个名为”Bedrock log group”的日志组,并在设置中启用了模型调用日志记录功能,将日志发送到该日志组。随后,他在文本播放器中输入了”hello, i am doing a logging test. what would you like to log today?“作为提示,成功在CloudWatch日志中捕获到了该请求及模型的响应内容。这一功能有助于开发者跟踪和审计Amazon Bedrock的使用情况,了解模型的输出质量,并进行必要的优化和调整。

总的来说,通过本视频,Mike Chambers深入解释了Amazon Bedrock GenAI服务中”token”的概念,并分享了在亚马逊云科技控制台中监控和记录token使用情况的实用技巧,为开发者更好地利用这项新兴技术提供了指导,帮助他们优化提示设计、控制成本并提高模型输出质量。他还推荐了亚马逊云科技社区网站的”生成式AI”板块,那里提供了更多相关技术的文章和资源,可以帮助开发者更深入地学习和应用生成式AI技术。

总结

亚马逊云科技Amazon Bedrock是一套生成式AI基础模型集合,旨在让开发者无缝地将生成能力集成到他们的应用程序中。这段视频探讨了token的概念,它构成了Bedrock按需定价的基础。Token代表文本提示在被模型处理之前,由tokenizer将其分解为的数值单元。

不同模型提供商的tokenization过程可能存在差异,导致相同输入提示的token数量不尽相同。为了理解这种关系,开发者可以利用Bedrock控制台中的CloudWatch指标,它提供了每次模型调用的输入token数量的可见性。此外,开发者还可以配置CloudWatch日志来捕获与模型交换的提示和响应,从而实现全面的监控和分析。

通过理解token并利用Bedrock中的监控功能,开发者可以优化他们的提示、有效管理成本,并获得对所使用的生成式AI模型的性能和行为的宝贵见解。Bedrock使开发者能够发挥生成式AI的力量,同时保持对底层过程的透明度和控制力。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI的首选，通过生成式AI技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI应用的大模型等工具、以及开箱即用的生成式AI应用。深耕本地、链接全球 – 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。