标签: 高效计算

Transformer架构革新:Mamba模型如何颠覆注意力机制统治?

在深度学习领域,Transformer架构凭借其注意力机制在过去五年间确立了统治地位。但当序列长度突破10万量级时,其平方级计算复杂度带来的算力瓶颈日益凸显。2023年底横空出世的Mamba模型,通过状态空间模型(State Space Model,...