[!quote] 背景 近年来，大语言模型（LLM）的应用日益广泛，而高效的部署方案至关重要。Ollama和vLLM作为两种流行的LLM部署工具，各有优劣。本文将深入比较Ollama和vLLM的部署方式，帮助选择最合适的方案。 一、基础知识解析目录一、基础知识解析1. 什么是VLLM？2. 什么是奥拉玛（Ollama）？二、性能大比拼：速度、内存与可扩展性1. 关键性能指标分析三、应用场景：VLLM和Ollama分别适用于哪些场景？1. VLLM的最佳应用场景2. Ollama的最佳应用场景四、如何上手使用？（分步指南）1. VLLM入门教程 在深入探讨之前，我们先来了解一下这两个框架的核心功 […]
很多人学习SEO很久，也了解了很多相关术语，例如，关键词、外链，锚文本，流量，等等。 心头始终有个疑问：我如何获取这些相关数据呢。 其实你需要一款SEO工具。今天董哥要介绍的就是在业界比较知名的一款SEO工具-Ahrefs. 通过本教程指南，你可以学会如何使用Ahrefs，帮你可以迅速导出各种SEO相关参数，并利用这些数据指导你的SEO工作，提升你的搜索引擎优化效果。 一、什么是Ahrefs工具？目录一、什么是Ahrefs工具？二、Afrefs工具的主要功能-教程指南1. 反向链接配置2. “Link Intersect”「链接交叉」3.Best By Links4.“New” […]
Tabby 简介目录Tabby 简介Tabby 本地化部署方法一、Docker部署方法二、Liunx部署可用模型VScode插件问题怎么修改端口？ Tabby是一个自托管的AI编码助手，提供了一个开源的、可本地部署的GitHub Copilot替代品。Tabby拥有以下几个特点： 1. 自托管：Tabby是一个自托管的解决方案，不需要依赖于第三方云服务或DBMS，用户可以完全掌控和管理自己的数据和代码。 2. 开源：Tabby是一个开源项目，用户可以自由访问和修改源代码，以满足自己的需求。 3. 本地部署：Tabby可以在本地部署，可以在没有互联网连接的情况下使用，同时也可以保护用户的代码 […]
ChatTTS是一个通过文本合成语音的TTS项目，它最大的特点就是合成效果非常逼真自然。应该是目前最强的开源项目。这应该是大家的共识，所以很快就出现很多扩展项目。 这些扩展项目，使得ChatTTS在功能更加强大，便捷性大大提升。比如可以进行更多参数的控制，挖掘更多声音，优化数字发音，生成长文本语音，抽卡，分角色朗读… 下面整理了五个不错的项目，跟大家分享一下 ! Awesome-ChatTTS目录Awesome-ChatTTSChatTTS_SpeakerChatTTS-uiChatTTS_colabChatTTS-Forge 这是一个导航类的项目，据说是官方推荐的ChatTTS 最佳入门指南 […]
环境目录环境简介支持的语种亮点数据集和模型路线图安装克隆仓库安装依赖1. 直接安装2. 使用 conda 安装可选 : 如果使用 NVIDIA GPU（仅限 Linux），可安装 TransformerEngine。可选 : 安装 FlashAttention-2 (主要适用于 NVIDIA GPU)快速启动1. WebUI 可视化界面2. 命令行交互开机启动问题记录TransformerEngine安装报错： error subprocess-exited-with-error参考 conda 环境的创建、查看、删除，请查看：[[coda创建、查看、删除虚拟环境]] 简介 ChatTTS 是 […]
chatgpt next web 介绍目录chatgpt next web 介绍1、主要功能2、项目展示群晖 Dcoker 部署chatgpt next web 配置及使用ChatGPT API 报价API介绍API 价格 1、主要功能 在 1 分钟内使用 Vercel 免费一键部署 精心设计的 UI，响应式设计，支持深色模式 极快的首屏加载速度（~100kb） 海量的内置 prompt 列表，来自中文和英文 自动压缩上下文聊天记录，在节省 Token 的同时支持超长对话 一键导出聊天记录，完整的 Markdown 支持 拥有自己的域名？好上加好，绑定后即可在任何地方无障碍快速访问 2、项目展 […]
ChatGPT API是OpenAI提供的可以让我们调用GPT模型的接口，所以更准确的说法应该是OpenAI API。那么ChatGPT API的收费标准是什么呢？1美元有多少Token？一个中文汉字/英文字符又占多少Token呢？这篇文章就分享下ChatGPT API的收费标准，以及如何计算Token。 一、OpenAI ChatGPT API收费标准目录一、OpenAI ChatGPT API收费标准二、OpenAI ChatGPT API Token计算方式 OpenAI ChatGPT API是收费的，不同模型（如GPT-3.5、GPT-4.0等）的收费标准不一样，以下是OpenAI官 […]
更新 Windows 更新到最新版本目录更新 Windows 更新到最新版本Github 上下载ViVe工具使用ViVe工具重启电脑 更新后任务栏就有一个copilot的图标了，如果没有的话可以修改注册表和在Windows设置里去打开（以上两个步骤是用于让Windows显示copilot图标的，有可能需要一个或两个都需要或两个都不需要，看自身情况） 这时候点开copilot还是显示不在服务区内的 Github 上下载ViVe工具 链接如下： GitHub – thebookisclosed/ViVe: C# library and console app for using new […]
最近ChatGPT大火！微软退出首款ChatGPT搜索引擎，阿里等国内巨头也纷纷爆出自家产品，一夜之间，全球最大的科技公司仿佛都回到了自己年轻时的样子！ 然而，ChatGPT这么火，这么好玩的东西，国人都被卡在注册上了？！ 准备工作目录准备工作注册接码平台注册 OpenAI体验ChatGPT 和注册美区 Apple ID 一样的流程： 挂个代理，伪装在日本、新加坡或者美国，建议新加坡；亲测香港是100%不可行的 准备一个国外手机号，GoogleVoice 虚拟号会被识别，亲测不行，使用接码平台 Chrome 浏览器。 注册接码平台 打开网站：sms-activate.org/ 使用邮箱注册 注 […]
ComfyUI 介绍目录ComfyUI 介绍ComfyUI Github 地址部署 ComfyUI配置模型地址 or 下载模型启动 ComfyUI访问 ComfyUI使用技巧页面底部显示图片预览插件安装 最强大、模块化的稳定扩散 GUI 和后端。 该用户界面将允许您使用基于图形/节点/流程图的界面设计和执行高级稳定扩散管道。 ComfyUI Github 地址 https://github.com/comfyanonymous/ComfyUI 部署 ComfyUI 克隆代码库， git clone https://github.com/comfyanonymous/ComfyUI cd Com […]