在深度学习领域,Transformer架构凭借其注意力机制在过去五年间确立了统治地位。但当序列长度突破10万量级时,其平方级计算复杂度带来的算力瓶颈日益凸显。2023年底横空出世的Mamba模型,通过状态空间模型(State Space Model,...
技术Geek,分享技术学习路上的解决方案,喜欢我的文章就关注我
在深度学习领域,Transformer架构凭借其注意力机制在过去五年间确立了统治地位。但当序列长度突破10万量级时,其平方级计算复杂度带来的算力瓶颈日益凸显。2023年底横空出世的Mamba模型,通过状态空间模型(State Space Model,...