蚂蚁集团与vLLM开源量化推理算子库Humming

蚂蚁集团与 vLLM 社区联合开源通用高性能量化推理算子库 Humming，支持多种 GPU 系列及 CUDA 兼容硬件。其统一架构为 Dense 与 MoE 模型提供广泛量化支持，覆盖整数与浮点类型的多种权重和激活格式、位宽及缩放方案。在多个典型负载上，Humming 的执行性能超过 vLLM Marlin、FlashInfer 和 DeepGEMM 等现有实现。

蚂蚁集团与vLLM社区联合开源量化推理算子库Humming，覆盖多种GPU及兼容CUDA编程的设备。该库通过统一架构支持Dense和MoE中丰富的权重与激活格式组合，涵盖多种整数和浮点类型、位宽及缩放方式。在多种典型负载中，其执行性能显著优于vLLM Marlin、FlashInfer和DeepGEMM等现有实现。