Pruna AI开源的AI模型优化框架

Pruna AI是一家欧洲初创公司，一直在研究AI模型的压缩算法，并在周四进行了优化框架开源。

Pruna AI一直在创建一个框架，该框架应用了几种效率方法，例如缓存，修剪，量化和蒸馏，以适用于给定的AI模型。

“我们还标准化了保存和加载压缩模型，应用这些压缩方法的组合，并在压缩后评估压缩模型。

尤其是，Pruna AI的框架可以评估压缩模型和您获得的性能是否有重大质量损失。

“如果我要使用一个隐喻，我们类似于拥抱面部标准化的变形金刚和扩散器的方式 - 如何打电话给它们，如何保存它们，加载它们等。我们正在这样做，但是出于效率方法，

大AI实验室S已经在使用各种压缩方法。例如，OpenAI一直依靠蒸馏来创建其旗舰型号的更快版本。

这可能是Openai开发GPT-4 Turbo的方式，GPT-4的速度更快。同样，Flux.1-SCHNELL图像生成模型是Flux的蒸馏版。1来自黑森林实验室的模型。

蒸馏是一种用于从具有“教师学生”模型的大型AI模型中提取知识的技术。开发人员将请求发送给教师模型并记录输出。有时将答案与数据集进行比较，以查看它们的准确性。然后，这些输出用于培训学生模型，该模型经过培训以近似教师的行为。

“对于大公司，他们通常要做的是在内部构建这些东西。您在开源世界中可以找到的通常是基于单一方法。Rachwan说：“ E Caching方法用于扩散模型。但是，您找不到将所有这些的工具汇总到所有这些工具，使它们都易于使用并结合在一起。这是Pruna现在带来的最大价值。”

从左到右：Rayan Nait Mazi，Bertrand Charpentier，John Rachwan，StephanGünnemannimanmage学分：Pruna AI

Pruna AI支持任何类型的模型，从大型语言模型到扩散模型，语音到文本模型和计算机视觉模型，但该公司现在更加专门针对图像和视频生成模型。

Pruna AI的一些现有用户包括方案和摄影体。除开源版外，Pruna AI还具有具有高级优化功能的企业产品，包括优化代理。

“我们将很快发布的最激动人心的功能将是压缩代理，” Rachwan说。 “基本上，您给它您的模型，您说：‘我想要更高的速度，但不要下降My准确性超过2％。’然后，代理人将做魔术。它将找到最适合您的组合，为您退还。您不必作为开发人员做任何事情。”

pruna ai按小时收取其Pro版本。 Rachwan说：“这类似于您在AWS或任何云服务上租用GPU时如何看待GPU。”

，如果您的模型是AI基础架构的关键部分，则最终将在推理优化模型时节省很多钱。例如，Pruna AI使Llama型号八倍，而没有使用其压缩框架过多损失。 Pruna AI希望其客户能将其压缩框架视为一项自身支付的投资。

Pruna AI几个月前筹集了650万美元的种子资金。该初创公司的投资者包括EQT Ventures，Daphni，Motier Ventures和Kima Ventures。