跳到正文
GitHub Trending·收录于· 3 小时前精选AI 评分78

TensorFold 开源 Zig 原生推理引擎,在 Apple Silicon 与 NVIDIA GPU 上直接服务模型

ashhart/TensorFold

AI 导读

TensorFold 是一个用 Zig 编写的开源推理引擎,可直接读取 checkpoint 并在 Apple Silicon 的 Metal 或 NVIDIA 的 CUDA 上运行 kernel,服务模型无需安装 Python 或 MLX。

推荐理由

原文给出 Zig 原生推理引擎的安装命令、支持模型清单与已知限制,可据此判断本地部署的可行边界。

来源:GitHub Trending · github.com