DeepSeek宣布开源MLA解码核FlashMLA

摘要： 【DeepSeek宣布开源MLA解码核FlashMLA，GitHubstar超1700】在上周DeepSeek宣布本周将是开源周（OpenSourceWeek），并将连续开源五个软...

【DeepSeek宣布开源MLA解码核FlashMLA，GitHubstar超1700】在上周DeepSeek宣布本周将是开源周（OpenSourceWeek），并将连续开源五个软件库后。今日，DeepSeek宣布开源了开源周首款用于Hopper GPU的高效型MLA解码核——FlashMLA。新浪科技注意到，在GitHub上，目前该项目已经收获了超过1700star，并且拥有62个Fork。MLA是DeepSeek V2-V3系列大模型最为重要技术创新，主要用于减少推理过程的KV Cache，进而降低推理成本。据DeepSeek介绍，FlashMLA是Hopper GPUs的有效MLA解码内核，可针对可变长度序列进行优化，目前主要发布包括：1、 BF16；2、块大小为64 的分页kvcache。在基准测试性能表现上，FlashMLA在英伟达H800 SXM5 GPU上可实现3000 GB/s 的内存速度以及580TFLOPS的计算上限。（新浪科技）