日日新融合大模型 – 商汤科技推出的原生融合模态大模型 | AI工具集

日日新融合大模型是什么

“日日新”融合大模型（SenseNova）是商汤科技于2025年1月10日正式推出的多模态大模型。模型实现了原生融合模态，深度推理能力与多模态信息处理能力均大幅提升，能处理文本、图像、视频等多种信息，突破了模态之间的限制在SuperCLUE和OpenCompass两大权威评测榜单均夺得第一，成为“双冠王”。

日日新融合大模型的主要功能

• 图像识别与分析：能准确识别和分析图像中的内容，包括模糊的文本、复杂的场景等。
• 视频处理：可以处理视频内容，提取关键信息，进行视频编辑和生成等操作，提升视频交互体验。
• 语音识别与合成：结合语音和自然语言处理能力，提升交互体验，如在语音客服、在线教育等场景中应用。
• 文本处理：具备强大的文本理解和生成能力，能处理复杂的富模态文档，如表格、文本、图片、视频等融合形式的文档。
• 数学计算与逻辑推理：能解决复杂的数学问题，如计算2的31次方和3的21次方哪个更大，用对数函数的方法进行解答。
• 数据分析与决策支持：可以分析数据图表中的信息，提取关键要素，给出结论，为用户提供决策支持。

日日新融合大模型的技术原理

• 原生融合模态：模型能够同时处理文本、图像、视频等多种信息，突破了传统大语言模型仅支持单一文本输入的限制。
• 融合模态数据合成：
  • 逆渲染技术：通过逆渲染技术，将图像和文本数据进行融合，生成大量合成数据。这些合成数据在图文模态之间建立起大量的交互桥梁，使得模型能够更扎实地掌握模态之间的丰富关系。
  • 基于混合语义的图像生成：利用混合语义生成技术，进一步丰富了融合模态数据，提升了模型对多模态信息的理解能力。
• 融合任务增强训练：构建了丰富的跨模态任务，为模型的训练提供了坚实的基础。这些任务不仅包括传统的文本处理任务，还涵盖了图像识别、视频分析等多模态任务，使模型在多种业务场景中能够有效响应用户需求。
• 深度推理能力：
  • 文理兼修：在SuperCLUE年度评测中，文科成绩以81.8分位列全球第一，理科成绩夺得金牌，其中计算维度以78.2分位列国内第一。
  • 复杂问题解决：能处理复杂的富模态文档，如表格、文本、图片、视频等融合形式的文档，并提供深入的推理支持。

日日新融合大模型的项目地址

日日新融合大模型的应用场景

• 自动驾驶：处理复杂的多模态信息，提升决策能力。
• 视频交互：提升视频内容生成、编辑和分析的效率。
• 办公教育：高效处理复杂的富模态文档，提升办公和教育效率。
• 金融：分析和处理多源异构数据，提供准确的风险评估和投资建议。
• 园区管理：提升园区的管理效率和安全性。
• 工业制造：优化生产流程和质量控制。