跳到正文

AI 落地

端侧 AI 最新动态

Core ML、MLX、llama.cpp 移动端与量化模型在设备上的落地。

1 条精选近 30 天 1 条共收录 4 条

更新

端侧 AI的精选

今天11月16日周一第 1–1 条
  1. GitHub Trending78

    TensorFold 开源 Zig 原生推理引擎,在 Apple Silicon 与 NVIDIA GPU 上直接服务模型

    TensorFold 是一个用 Zig 编写的开源推理引擎,可直接读取 checkpoint 并在 Apple Silicon 的 Metal 或 NVIDIA 的 CUDA 上运行 kernel,服务模型无需安装 Python 或 MLX。

    推荐理由:原文给出 Zig 原生推理引擎的安装命令、支持模型清单与已知限制,可据此判断本地部署的可行边界。