近期，清华大学交叉信息院赵行研究组及其合作单位的研究者们提出一种新型符号性记忆框架ChatDB，突破了此前常用的记忆框架中对储存信息操作不精确、历史信息储存形式缺乏结构性等局限。该论文《ChatDB: Augmenting LLMs with Databases as Their Symbolic Memory （ChatDB：用数据库作为符号性记忆模块来增强大语言模型）》发布于康奈尔大学ArXiv，并在Twitter上被Elvis Saravia等知名机器学习和自然语言处理研究者转发。
图1 ChatDB工作流程示意图
为验证 ChatDB 中将数据库作为符号性记忆模块来增强大语言模型的有效性，并与其他的模型进行定量比较，研究者们构造了一家水果店运营管理的合成数据集，并命名为“水果商店数据集”，其中包含了 70 条按时间顺序生成的商店记录，约有 3300个 tokens（小于 ChatGPT 最大上下文窗口长度 4096个）。这些记录包含水果店的四种常见操作：采购、销售、价格调整和退货。ChatDB 模型中的 LLM 模块使用了 ChatGPT (GPT-3.5 Turbo)，温度参数设置为 0，并使用 MySQL 数据库作为其外部符号性记忆模块。对比的基线模型为 ChatGPT (GPT-3.5 Turbo)，最大的上下文长度为 4096，温度参数也设置为 0。研究者们在水果商店问答数据集上进行了实验，发现相对于 ChatGPT，ChatDB 在这些问题的解答上展现出了显著的优势。
图2 ChatDB框架概览
为验证 ChatDB 中将数据库作为符号性记忆模块来增强大语言模型的有效性，并与其他的模型进行定量比较，研究者们构造了一家水果店运营管理的合成数据集，并命名为“水果商店数据集”，其中包含了 70 条按时间顺序生成的商店记录，约有 3300个 tokens（小于 ChatGPT 最大上下文窗口长度 4096个）。这些记录包含水果店的四种常见操作：采购、销售、价格调整和退货。ChatDB 模型中的 LLM 模块使用了 ChatGPT (GPT-3.5 Turbo)，温度参数设置为 0，并使用 MySQL 数据库作为其外部符号性记忆模块。对比的基线模型为 ChatGPT (GPT-3.5 Turbo)，最大的上下文长度为 4096，温度参数也设置为 0。研究者们在水果商店问答数据集上进行了实验，发现相对于 ChatGPT，ChatDB 在这些问题的解答上展现出了显著的优势。
该论文共同第一作者为清华大学交叉信息院博士生胡晨旭和智源研究院研究员付杰，通讯作者为付杰和交叉信息院助理教授赵行，其他作者包括清华大学博士生杜晨壮、骆思勉，以及浙江大学助理教授赵俊博。
论文链接：https://arxiv.org/abs/2306.03901
