DAPR的微服务运行时现在支持AI代理

早在2019年,Microsoft开源DAPR,这是一种新的运行时,可以更轻松地使构建分布式的基于微服务的应用程序更容易。当时,还没有人谈论AI代理商,但是事实证明,DAPR从一开始就拥有一些基本的构件来支持AI代理。这是因为DAPR的核心功能之一是虚拟参与者的概念,可以独立于系统中的所有其他参与者接收和处理消息。

DAPR的微服务运行时现在支持AI代理

今天,DAPR团队正在启动DAPR代理商,它通过为开发人员提供许多构建块来帮助开发人员建立AI代理。

“代理对于DAPR来说是一个很好的用例,” DAPR共同创造者和维护者Yaron Schneider解释说。 “从技术角度来看,您可以将演员用作运行这些代理商的一种非常轻巧的方式,并且确实能够以状态进行大规模运行 - 并提高资源效率。这都是Gre在,但是,您仍然需要写很多业务逻辑。状态和编排只是一部分。而且,许多人可能会选择工作流引擎或演员框架,但是他们仍然需要做很多工作来实际在另一侧编写代理逻辑。那里有很多代理框架,但是它们的编排和状态不如DAPR具有相同的水平。”

图片来源:DAPR

DAPR代理来自Floki,Floki是一个流行的开源项目,该项目扩展了此AI代理用例的DAPR。与项目维护者(包括Microsoft AI研究员Roberto Rodriguez)的项目维护人员交谈,两支团队决定将该项目带到DAPR伞下,以确保新代理框架的连续性。

“在许多方面,我们将代理系统和围绕的整个术语视为“分布式系统”,DAPR共同创建者和维护者Mark Fussel的另一个术语我说。 “ […]您现在可以将它们称为代理,而不是将它们称为微服务,主要是因为您可以将大型语言模型放在其中。”

为了有效地协调这些代理,您确实需要编排引擎和状态,这是DAPR所提供的。部分原因是DAPR的演员本来应该非常有效,并且能够在消息传来时旋转(并在其工作完成后关闭,保留其状态,完成他们的工作时)。

>

现在,DAPR代理可以与开箱即用的大多数流行模型提供商进行交谈。其中包括AWS Bedrock,Openai,人类,Mistral和拥抱的脸。对本地LLM的支持很快就会到来。

在与这些模型进行交互之上,由于DAPR代理扩展了现有的DAPR框架,开发人员还可以定义代理可以使用的工具列表来实现给定任务。

电流Y,DAPR代理商支持Python,很快就会发布.NET支持。 Java,JavaScript和GO将很快跟随。

avatar

知识小能手 管理员

发布了:11463篇内容
查阅文章

发布评论

验证码

QQ交谈

在线咨询:QQ交谈

工作时间:每天9:00 - 18:00
若无特殊,节假日休息

我的微信