非GPT架构首次显著超越Transformer

10月1日，MIT计算机科学与人工智能实验室（CSAIL）的前研究人员创立的初创公司Liquid AI推出了名为液体基础模型（LFM）的多模态非Transformer模型。该模型在基准测试中超越了传统Transformer模型，实现当前最佳性能，同时保持更小的内存占用和更高效的推理。LFM系列包括1.3B、3B和40.3B三种尺寸的模型，适用于资源受限环境、边缘部署优化和处理复杂任务。与传统的Transformer模型相比，LFM在长输入处理上内存效率更高，能够处理更长的序列。LFM-1B模型在基准测试中表现优异，成为非GPT架构首次显著超越Transformer模型的案例。Liquid AI的模型利用了混合计算单元，可模拟任何类型的序列数据，包括视频、音频、文本等，旨在解决多个行业的特定挑战。