ChatDB提升LLM的复杂推理能力

2023-06-30 11:47

文/陈根

自去年11月份，ChatGPT面世以来，大语言模型（Large Language Models，即LLM）疯狂升级，不断爆火。而如何让大语言模型更好的应对有很长的上下文信息（超出其最大处理长度）的场景，并利用相关历史信息做复杂的推理，也就成了各国科学家们竞相攻坚的热点研究话题。

日前，清华大学和北京智源人工智能研究院的研究者们提出了一种新型的符号性（symbolic）记忆模块，即用数据库作为符号性记忆模块来增强大语言模型。该符号性记忆框架由一个大语言模型和一个数据库组成，称为 ChatDB，其框架包含三个主要阶段：输入处理、记忆链和总结回复。其中，记忆链是一个新提出的方法，以更有效地操作符号性记忆模块，从而进一步增强 LLMs 的推理能力。

在 ChatDB 中，大语言模型通过生成 SQL 指令来操纵数据库，从而实现对记忆模块中历史信息精确的增删改查，并在需要时为大语言模型提供信息，以帮助其回应用户的输入。这样可以让大语言模型胜任需要对历史信息进行长期且精确的记录、处理和分析的场景，例如各种管理和分析系统，以后甚至有望替代管理者，直接让大语言模型根据精确的历史数据做分析和决策。

相比较于ChatDB，之前的记忆模块设计，要么需要依靠文本的 vector embedding 之间的相似度，要么将历史信息隐式地存储在神经网络的权重中，都涉及神经性的操作，无法像符号性操作那样精确操纵记忆模块中的历史信息。所以，这些设计存在着没有以结构化的形式存储历史信息和对存储在记忆模块中的信息的操作不够精确的问题。

ChatDB 则是利用支持 SQL 指令的数据库作为符号性记忆模块，来支持对历史信息抽象的、可拓展的和精确的操作。而且，符号性记忆模块还可以跟之前的记忆模块同时使用，起到相辅相成的作用，这无疑是极具优势的。

原文标题 : 陈根：ChatDB提升LLM的复杂推理能力