OPEN SOURCE INDEX / 中文项目档案
先看懂项目,再决定是否采用。
项目标题和简介依据官方 README、Topics 与 Release 自动整理,同时保留 Star、维护状态和语言等可核验数据。
找到 1 个项目
清除筛选| 项目 | 语言 | Stars | 7日增长 | 最近活动 | 状态 | 活跃度 |
|---|---|---|---|---|---|---|
| vllm:面向大模型的高吞吐推理服务引擎 vLLM 解决大语言模型部署时吞吐低、显存占用高的问题,通过 PagedAttention 显存管理、连续批处理、分块预填、多种量化与并行策略提升推理效率。它适合在自有 GPU 或多品牌加速硬件上自建在线推理服务的工程团队与平台方。 amdblackwell | Python | 9.2万 | +555 | 提交 版本 | 活跃 | 100 |