蚂蚁集团与 vLLM 社区开源高性能量化推理算子库 Humming

蚂蚁集团与 vLLM 社区联合开源通用高性能量化推理算子库 Humming，支持多种 GPU 系列及 CUDA 兼容硬件。其统一架构为 Dense 与 MoE 模型提供广泛量化支持，覆盖整数与浮点类型的多种权重和激活格式、位宽及缩放方案。在多个典型负载上，Humming 的执行性能超过 vLLM Marlin、FlashInfer 和 DeepGEMM 等现有实现。