DeepSeek 开源周活动第三天DeepGEMM助力V3/R1模型的训练与推理

DeepSeek宣布，DeepGEMM是一个专为简洁高效的FP8通用矩阵乘法，GEMM设计的库，具有细粒度缩放功能，如 DeepSeek-V3中所提出。它支持普通和混合专家（MoE）分组的 GEMM。该库采用CUDA编写，在安装过程中无需编译，通过使用轻量级的即时编译（JIT）模块在运行时编译所有内核。