AI PICKS / 编程开发

github.com

AirLLM

通过逐层加载模型权重降低大语言模型推理的显存需求，适合本地模型实验。实际内存、磁盘占用与速度取决于模型和硬件。

前往官网，在新窗口打开

01 /

用它，做点什么

01
本地模型实验
02
低显存推理
03
分层加载模型

常见问题

AirLLM 可以用来做什么？

通过逐层加载模型权重降低大语言模型推理的显存需求，适合本地模型实验。实际内存、磁盘占用与速度取决于模型和硬件。常见用途包括：本地模型实验、低显存推理、分层加载模型。

如何开始使用 AirLLM？

点击页面上的“访问网站”，前往发布方网站。AI Picks 提供介绍和来源链接，工具本身由发布方提供。访问发布方 ↗

AirLLM 是否免费？

套餐、额度和使用条款可能变化。AI Picks 不提供实时价格，请在发布方网站确认当前条件。查看发布方信息 ↗