Meta开发REFRAG框架大幅提高检索大模型增强生成速度

10月12日，美国Meta公司超级智能实验室推出一种新型REFRAG框架，使大模型检索增强生成（RAG）推理速度提升30倍。相关研究成果以“REFRAG: Rethinking RAG based Decoding”为题发布在预印本平台arXiv上。

大模型在RAG任务中表现突出，但现有大模型处理文本较长的上下文输入时存在显著的系统延迟，并且需要大量内存来存储键值，从而导致吞吐量下降。对此，Meta公司超级智能实验室推出一种解码框架REFRAG，能够在仅保留核心内容原始Token的前提下，对RAG召回的低相关性文本块进行智能压缩，以降低系统延迟，提高数据吞吐量。测试显示，REFRAG在不损失性能的前提下，TTFT（用户发出请求到大模型返回第一个token所需的时间）速度提高30.85倍，大模型上下文处理长度提升了16倍。这项研究显示出对RAG进行专门优化的重要性，为实现高效的上下文大模型推理开辟了新的方向。