← 返回
10 月 9 日 10:21工具精选 75
微软 Windows ML 实验支持 GGUF、ONNX 本地推理
微软正与 llama.cpp、GGUF 社区合作升级 Windows 11 的 Windows ML,实验性加入 Windows ML Runtime API 原生推理路径,支持从 Hugging Face 导入 GGUF 模型,并运行 GGUF 与 ONNX 模型。微软还与英伟达向 llama.cpp 贡献性能优化代码,推动开发者在设备端构建本地 AI 应用。
推荐理由 · why
Windows 本地推理开发者可关注其 GGUF、ONNX 接入与 Runtime API,但目前仍属实验阶段。
本地推理Windows MLGGUFONNX