RAG-FiT – 英特尔实验室推出用于开发、增强大模型的开源RAG框架 | AI工具集

RAG-FiT是什么

RAG-FiT（曾用名RAG Foundry）是英特尔实验室推出的开源框架，用在微调（fine-tuning）增强大型语言模型（LLMs）在检索增强生成（RAG）任务中的表现。RAG-FiT基于模块化设计，支持数据创建、训练、推理和评估四大功能模块。RAG-FiT能帮助用户快速创建适合RAG任务的数据集，用参数高效微调（PEFT）技术对模型进行优化，用多种RAG特定的评估指标衡量模型性能。RAG-FiT框架有高度的灵活性和扩展性，支持从数据选择、过滤到检索、提示生成等全方位的RAG用例，适用于问答系统、文本生成等多种应用场景。

RAG-FiT的主要功能

• 数据创建与处理：
  • 数据加载：支持从Hugging Face Hub或本地源加载数据集。
  • 数据预处理：包括数据过滤、归一化、聚合、信息检索、模板化提示生成等。
  • 数据保存：处理后的数据以一致的格式保存，方便后续训练和推理。
  • 灵活的处理流程：支持全局操作（如数据聚合、过滤）和局部操作（如单个样本的检索和文本处理）。
• 训练：
  • 参数高效微调（PEFT）：用LoRA等技术对模型进行高效微调。
  • 训练配置：支持自定义学习率、优化器、批量大小等训练参数。
  • 模型推送：训练后的模型支持推送到Hugging Face Hub。
• 推理：
  • 生成预测：在处理后的数据集上生成预测结果。
  • 批量推理：支持对多个输入数据进行批量处理，提高效率。
• 评估：
  • 多维度评估：支持多种评估指标，如EM、F1、ROUGE、BERTScore等。
  • 自定义评估：用户能轻松实现自定义评估指标。
  • 全局与局部评估：支持对每个样本进行局部评估，及对整个数据集进行全局评估。

RAG-FiT的技术原理

• 检索增强：
  • 检索机制：基于检索工具从外部知识库中获取与输入问题相关的上下文信息。工具包括基于向量的检索系统（如Haystack、Qdrant）和其他检索框架。
  • 上下文注入：将检索到的上下文信息注入到LLMs的输入中，帮助模型更好地理解问题背景，从而生成更准确、更有依据的答案。
• 模块化设计：
  • 数据处理模块：负责数据的加载、预处理和保存。支持多种数据源和灵活的处理流程。
  • 训练模块：用PEFT技术对模型进行微调，支持LoRA等高效训练方法。训练后的模型能保存或推送到Hugging Face Hub。
  • 推理模块：在处理后的数据集上生成预测结果，支持批量推理。
  • 评估模块：提供多种评估指标，支持对生成结果的多维度评估。
• 配置驱动的工作流：
  • Hydra配置工具：使用Hydra配置工具实现层次化配置，支持用命令行覆盖配置值，方便远程作业运行。
  • 配置文件：每个模块都有默认配置文件，用户能基于配置文件或命令行参数自定义工作流。
• 实验与评估：
  • 实验环境：提供一个端到端的实验环境，支持快速原型开发和多种RAG技术的实验。
  • 多维度评估：评估模块评估生成结果的准确性，还能评估检索结果的相关性和生成内容的忠实度（Faithfulness）和相关性（Relevancy）。

RAG-FiT的项目地址

RAG-FiT的应用场景

• 问答系统：基于检索外部知识库增强语言模型，为用户提供更准确、更相关的答案，适用于医学、法律等专业领域。
• 文本生成：结合最新背景信息生成高质量文本，如新闻报道、创意写作，提升内容的时效性和准确性。
• 知识图谱增强：检索知识图谱中的实体和关系，生成与图谱一致的文本，提高知识表示的准确性和可解释性。
• 多语言生成：跨语言检索知识库，生成多语言文本，满足多语言环境下的内容生成需求。
• 文档摘要：检索文档关键信息生成摘要，提高摘要的准确性和信息覆盖率，适用于科研、商业等领域。