Jun 16, 2026 DeepSeek-V4 前置知识 这份文档的目标:把读懂 DeepSeek-V4 技术报告所需要的背景知识,从头到尾、一处不漏地讲清楚。读完它,你再去看正文(或 精读总结),里面那些密集的术语——CSA、HCA、MLA、MoE、mHC、Muon、FP4 QAT、EP、GRPO、on-policy distillation、MTP、test-time scaling……都应该不再是拦路虎。 阅读假设:你有计算机和一定的 AI 技术... Read Article 前置知识DeepSeek-V4LLM
Mar 19, 2026 手写 CUDA FlashAttention(一):朴素实现 关于 Attention 的介绍强烈推荐李宏毅老师的教学视频:自注意力机制和Transformer详细解析。 Read Article AIAI InfraFlashAttention