SAC-KG – 通用知识图谱构建框架，能构建超百万节点的领域知识图谱 | AI工具集

SAC-KG是什么

SAC-KG是基于大型语言模型（LLMs）自动构建领域知识图谱的通用框架。由生成器、验证器和剪枝器三个主要组件构成，能自动从原始领域语料库中生成特定领域的一级知识图谱，确保生成的三元组的准确性。SAC-KG能构建超过百万节点规模的领域知识图谱，达到89.32%的精度，比现有最先进方法提高了20%以上的精度。这一框架有效地利用LLMs作为领域专家，生成专业且准确的多层级知识图谱。

SAC-KG的主要功能

• 自动化构建知识图谱：SAC-KG通过其组件自动从原始领域语料库构建特定领域的单层知识图谱，能迭代构建多层级知识图谱。
• 提高构建精度：SAC-KG的验证器和剪枝器协同工作，通过纠正生成错误并确定新生成的尾部是否需要对下一层级知识图谱进行迭代来保证准确性，实验中精度达到了89.32%，比现有方法提高了20%以上。
• 领域专业化：基于大型语言模型（LLMs）作为领域专家，SAC-KG生成的知识图谱具有高度的专业化特性，能生成与特定领域相关的三元组。
• 控制生成过程：通过引入开放知识检索器和剪枝器，SAC-KG能有效地控制生成过程，确保生成的三元组格式正确且符合领域要求。
• 大规模构建能力：SAC-KG能在超过一百万个节点的规模上自动构建领域知识图谱，展示了其在处理大规模数据集上的优势。
• 无监督方法：SAC-KG是一种无监督方法，可以应用于任何具有大量非结构化文本语料库的领域，而无需标记数据。
• 一致性评估：通过与GPT-4和人类评估的一致性比较，验证了SAC-KG生成的知识图谱的高质量和可靠性。

SAC-KG的技术原理

• 生成器（Generator）：生成器负责从原始领域语料库和开源知识图谱中检索相关信息，将其作为输入提供给大型语言模型（LLMs），生成特定领域的一级知识图谱。包括两个子模块：
  • 领域语料库检索器：将领域语料库分割成句子，并根据实体出现的频率进行排序，最后将排序后的句子连接成一个固定长度的文本输入到LLMs。
  • 开放知识检索器：对于开源知识图谱中的实体，提供相关的三元组作为示例；对于不在开源知识图谱中的实体，将其分词后重新检索；对于仍不匹配的实体，随机选择十个三元组作为提示。
• 验证器（Verifier）：验证器的作用是检测和过滤掉生成器生成的错误三元组。包括两个步骤：
  • 错误检测：使用RuleHub中挖掘的超过7000条规则标准，对生成的三元组进行数量检查、格式检查和冲突检查。
  • 错误校正：根据检测到的错误类型，提供相应的提示，并重新提示LLMs生成正确的三元组。
• 剪枝器（Pruner）：剪枝器与验证器协同工作，通过确定新生成的尾部是否需要对下一层级知识图谱进行迭代来保证准确性，增强构建的知识图谱的可控性。基于开源知识图谱DBpedia进行微调的T5二分类器模型，输入由每个正确三元组的尾实体组成，输出为“growing”或“pruned”，表示该实体是继续生成下一级知识图谱还是停止进一步生成。

SAC-KG的项目地址

SAC-KG的应用场景

• 专业领域知识图谱构建：SAC-KG能在医学、生物学、社交网络等多个领域中应用，帮助构建特定领域的知识图谱。
• 自动化和精确性提升：SAC-KG通过自动化构建过程，提高了知识图谱构建的自动化程度和精度，精度达到了89.32%，比现有的最先进方法提高了20%以上的精度。
• 领域专业化：SAC-KG利用大型语言模型（LLMs）作为领域专家，生成与特定领域相关的三元组，使得知识图谱具有高度的专业化特性。
• 大规模数据处理：SAC-KG能在超过一百万个节点的规模上自动构建领域知识图谱，展示了其在处理大规模数据集上的优势。