SAIL: Sample-Centric In-Context Learning for Document Information Extraction

SAIL方法通过引入样本中心的上下文学习来解决文档信息提取中的挑战，特别是在理解布局文本关系方面。它使用实体和布局相似性来增强大型语言模型的分析，并为各种示例制定统一的提示模板。SAIL在FUNSD、CORD和SROIE基准上超越了无训练的基线，显示了出色的泛化能力。通过引入布局相似性和实体级文本相似性，SAIL方法能够全面分析VRDs，并为不同的大型语言模型提供统一的指导。它在多个基准上表现出色，优于无训练基线，并与完全训练的模型性能相当。SAIL框架旨在通过构建样本中心的上下文提示来提高文档图像的实体标签化能力。它从文档图像中提取文本和框，选择相似的实体、文档和文本，并使用语言模型生成预测标签。该框架旨在最大化正确标签的条件概率，通过上下文提示指导模型。SAIL方法包括图像处理、文本转换、选择相似示例和生成定制提示的步骤。文本讨论了各种数据集（DIE、FUNSD、CORD、SROIE）在收据理解和实体提取中的应用。SAIL方法在不同大型语言模型（如ChatGLM3、GPT-3.5和GPT-4）上表现出色，显示了更好的鲁棒性和适应性。通过为每个测试样本提供多样化的示例，SAIL方法提高了实体识别的性能。研究还比较了多模态大型语言模型（如GPT-4o和LLaVA-v1.5-7B）与SAIL方法在Die任务上的性能，显示SAIL方法显著优于其他方法。自适应示例优于固定示例，提高了模型性能。研究还评估了各种相似度度量和布局分析的影响，特别是在如CORD这样的复杂数据集上，布局分析显著提高了理解能力。消融实验确认了不同示例的重要性，其中文档级文本相似性、布局和实体级文本相似性示例证明最有益。SAIL方法通过结合布局和实体级文本相似性示例，增强了文档图像的理解能力。它在FUNSD、CORD和SROIE基准上超越了基线，显示了在不同大型语言模型上的出色性能。对于较长文档，增加实体级文本相似性示例可以提高F1分数。