产品向您奔涌而来
除了 CosyVoice,还有哪些各管一件事的模型? | New world · First Look
← 回到星系

First Look 整理 · 先认识

除了 CosyVoice,还有哪些各管一件事的模型?

把 AI 模型想成一队分工不同的帮手:有的负责说,有的负责听,有的负责看,还有的负责帮你找资料。 多模态 AI 是什么意思? 什么是本地模型?和 DeepSeek、GPT 有什么不同? AI 能读照片里的字吗? 想做一张 AI 图片,从哪里开始?先想清楚自己要把什么变成什么,再选模型。

让文字开口说

CosyVoice

输入:讲稿→输出:配音

适合视频旁白、数字人说话。它不是负责回答问题的聊天模型。

第一次做短视频,先准备哪三样?

把声音听成字

SenseVoiceSmall、Whisper tiny/base

输入:录音→输出:文字

适合会议记录、采访整理、字幕。方向和 CosyVoice 正好相反。

写字和想办法

Qwen3-0.6B、Qwen3-1.7B

输入:问题或草稿→输出:回答、改写或摘要

像随身文字助手,但重要事实仍要核对。

看图再回答

Qwen3-VL-2B

输入:图片加问题→输出:解释

适合问截图里有什么、图表大意是什么。

把图片里的字抄出来

PaddleOCR 的 PP-OCRv5_mobile

输入:票据、截图或扫描页→输出:识别到的文字

它更像抄写员,不负责判断内容真假。

帮资料配“相似度索引”

BGE-small-zh-v1.5

输入:一句话

→
输出:便于比较相似度的数字向量

适合在自己的知识库里找相关段落。它只负责“找”,要组织答案还得接文字模型,这就是 RAG 常用的分工。

画图

SD-Turbo

输入:画面描述→输出:图片

适合概念图和视觉草稿。名字里有 Turbo 是生成速度设计,不等于文件小或普通电脑都跑得动。

写一小段音乐

MusicGen-small

输入:风格描述→输出:音乐片段

适合试做背景音乐。

把描述变成短视频

Wan2.1 T2V-1.3B

输入:画面描述→输出:视频

它虽是该系列较小的版本,生成仍比文字任务吃显卡和时间。

这些模型都有可获取的权重或本地运行方案,但“能下载”不等于“你的电脑能顺畅运行”。 常见本地模型有哪些?能做什么、下载多大?0.6B、1.3B 里的 B 是十亿个参数,Whisper tiny 的 39M 里 M 是百万个参数;参数数目不是下载体积,也不能直接代表显存需求或效果。“专用”也不等于一定“小”。先选任务,再查模型的安装说明、硬件要求与使用许可。模仿真人声音前,要取得本人授权。

举个例子

想做一条宠物介绍短片:用 Qwen3-0.6B 整理讲稿 → 用 CosyVoice 念旁白 → 用 SD-Turbo 试画封面;手上已有采访录音,就先用 SenseVoiceSmall 或 Whisper 转文字。想让蜘蛛从自己的资料里找答案,可以先用 BGE 建索引,再用文字模型组织回答。

来源与延伸资料

CosyVoice:文字转语音 ↗

FunAudioLLM · 文字 · 英文

SenseVoice:语音识别 ↗

FunAudioLLM · 文字 · 英文

Whisper:模型大小与用途 ↗

OpenAI · 文字 · 英文

Qwen3:文字模型 ↗

Qwen · 文字 · 英文

Qwen3-VL:看图模型 ↗

Qwen · 文字 · 英文

PaddleOCR:图片识字 ↗

PaddlePaddle · 文字 · 英文

BGE:资料相似度检索 ↗

BAAI · 文字 · 英文

SD-Turbo:生成图片 ↗

Stability AI · 文字 · 英文

MusicGen:生成音乐 ↗

Meta · 文字 · 英文

Wan2.1:生成视频 ↗

Wan · 文字 · 英文

继续找相关资料