跳到正文
今天11月16日周一1 条
  1. GitHub Trending78

    TensorFold 开源 Zig 原生推理引擎,在 Apple Silicon 与 NVIDIA GPU 上直接服务模型

    TensorFold 是一个用 Zig 编写的开源推理引擎,可直接读取 checkpoint 并在 Apple Silicon 的 Metal 或 NVIDIA 的 CUDA 上运行 kernel,服务模型无需安装 Python 或 MLX。

    推荐理由:原文给出 Zig 原生推理引擎的安装命令、支持模型清单与已知限制,可据此判断本地部署的可行边界。