无服务器云平台Koyeb现在允许开发人员旋转TenStorrent的AI加速器
芯片制造商Tenstorrent筹集了近7亿美元的资金后仅几周后,开发人员现在可以在Koyeb上尝试TenStorrent的AI加速器。 Tenstorrent销售围绕RISC-V指令集架构构建的AI处理器,并开发了自己的开源神经网络库TT-NN和开源低级编程模型TT-Metalium。
Tenstorrent是一组试图建立NVIDIA GPU和公司CUDA图书馆的替代品的公司的一部分。它与Axelera,Etched,Groq等人竞争。
Koyeb是由前Scaleway高管创立的,专注于为寻求在云基础架构级别寻找抽象层的开发人员开发无服务的云平台。它与fly.io,铁路和渲染等竞争。
Koyeb允许开发人员使用命令行接口或与代码存储库集成后使用命令行接口或GIT推动部署应用程序。它支持Docker容器和许多流行语言。
Koyeb的主要功能之一是,它可以在需要时自动将应用程序扩展到数百个服务器,并且在流量较小时,它可以自动缩小服务器基础架构。
最近几个月,Koyeb专门针对AI应用程序。由于其平台的无服务器性质,它可以为AI工作负载提供低延迟的体验。
在硬件方面,Koyeb在其数据中心部署了Tenstorrent的PCIE板。开发人员可以访问TenStorrent的低级TT-Metalium SDK来编写主机和内核程序。
开发人员将在Koyeb的文档和管理面板中找到两种新类型的实例:
TT-N300S实例具有24GB的GDDR6内存,SRAM的192MB,最多可提供466 FP8 TFLOPS。它与64GB的RAM和4个VCPU配对。
TT-Loudbox实例有四个N300。开发人员获得96GB的GDDR6,SRAM的768MB,最多1,864 fp8 tflops。它具有256GB的RAM和16个VCPU。
使用此版本,Koyeb是T将自己定位为硬件不可或缺的云平台。 Koyeb的联合创始人兼首席执行官Yann Leger告诉TechCrunch:“这使我们想起了ARM在服务器市场上的首次亮相。”
他补充说:“自从我们在2013 - 2014年提供完全定制的服务器的Scaleway带入市场上,我们拥有部署各种架构并运行多种硬件的经验。”
至于Tenstorrent,AI芯片制造商正在寻找合作伙伴,以围绕其开源编程模型构建开发人员生态系统。将需要一个村庄来提供NVIDIA AI堆栈的替代方案。
上一篇
VC Giant Insight Partners确认一月网络攻击
2025-03-07
下一篇
发布评论