A Study of In-Context-Learning-Based Text-to-SQL Errors

Jiawei Shen, Chengcheng Wan, Ruoyi Qiao, Jiazhen Zou, Hang Xu, Yuchen Shao, Yueling Zhang, Weikai Miao, Geguang Pu·January 16, 2025

Summary

基于上下文学习的文本到SQL错误研究发现,ICL技术生成的SQL查询中普遍存在错误,主要分为语法、模式和逻辑错误。现有修复方法在提高正确性方面效果有限,且成本较高。为解决这一问题,本文提出了一种名为MapleRepair的框架,旨在高效检测和修复ICL生成的SQL查询错误。MapleRepair通过症状引导的规则式错误检测,提供错误描述、数据库信息和修复指南,帮助生成修复后的SQL查询。评估结果显示,MapleRepair在修复更多查询、减少误修复和降低开销方面优于现有方法。研究还总结了文本到SQL错误的分类,包括语法、语义和逻辑错误,并分析了错误类型对SQL查询质量的影响。通过改进LLM模型和修复框架,研究旨在提高文本到SQL转换的准确性和效率。

Key findings

16

Advanced features