Claude和ChatGPT能看视频的开源项目火了
一个名为claude-real-video的开源项目通过场景检测、关键帧提取、图片去重、字幕转录及时间戳对齐，让大语言模型高效地观看并理解视频内容，显著降低Token消耗和计算开销，并推出付费版crvPro拓展分析功能，从而提升分析效率。
刚刚，一个名为 claude-real-video 的开源项目火了——它声称能让任何大语言模型都“观看”视频。
没有训练新模型，也没有复杂的视觉推理框架，这个项目的 star 增长速度却非常惊人。
一个关键问题：当 AI 分析一段 YouTube 视频时，它真的把视频“看”了一遍吗？
对于几十分钟的视频，如果每一帧都发给模型，Token 成本会高得离谱，而且早就超出了模型能处理的上下文长度。所以无论是 Claude、ChatGPT 还是 Gemini，面对视频链接时，它们更多依赖的是字幕，而不是真正理解画面——一句话：模型听到了声音，却没看到画面。
那么，这个项目是怎么做到的？
核心思路：不是抽帧更多，而是抽帧更聪明
claude-real-video 的思路并不复杂。它没有试图让模型去播放视频，而是在本地先完成一次“视频理解预处理”。整个流程大致是这样：先用yt-dlp（或本地文件）拿到视频源，再用ffmpeg做场景检测、提取关键帧、图片去重，同时用 Whisper（或视频自带字幕）生成文字转录。最后打包成三件东西：frames/（关键帧图片）、transcript.txt（转录文本）和 MANIFEST.txt（清单文件）。
当把这些文件一起交给 Claude/ChatGPT/Gemini 时，它们并不是直接读取视频，而是在同一个上下文中同时阅读：视频字幕、每个场景的关键帧图片、每张图片对应的时间轴信息。这样获得的信息远比单纯依赖字幕丰富得多。
拆解项目五大亮点，每一步都在省 Token
最大的亮点：不是每秒截图，而是“按场景提帧”
传统的视频抽帧通常是固定频率，比如每秒抽一张。如果一个 PPT 页面停留了 30 秒，你就会得到 30 张几乎完全相同的图片——既浪费 Token，也没有任何价值。而 claude-real-video 使用的是 Scene Detection（场景检测）：只有当画面真正发生变化时，才保存新的关键帧。
来看一个案例：同样是 58 秒的视频片段，固定 1 fps 采样率 = 58 帧；而 claude-real-video 只保留了实际不同的 26 帧，然后通过 grid 打包成3 个联系表。更少的 Token，却没有遗漏任何信息。
第二个亮点：自动删除重复图片
模型没必要反复阅读相同画面。项目加入了图片去重机制：通过滑动窗口比较相邻图片的相似度，只保留真正发生变化的内容。比如 100 张图片，最终可能只留下 30 张。对于模型来说，理解效果几乎没有变化，但 Token 消耗却大幅下降。
第三个亮点：让画面和字幕真正对应起来
项目会生成一个 MANIFEST 文件，把每一张关键帧对应的时间戳和每一段字幕的时间戳关联起来。这样模型面对的不再是一堆散乱的图片，而是能清楚知道“某句话说出口时，画面上正好是哪一张图”。
第四个亮点：关键帧并不等于视频
新版本新增了一个很聪明的设计：“关键帧并不等于视频。”
单张图片只能反映某一个时刻，很多动作、动画、UI 变化都发生在连续几帧之间。于是项目推出了新的 Grid 功能：把连续的 9 张关键帧拼成一张图片，让模型一次性读到一段连续的画面序列，而不是零散的静态截图。这样做还有一个额外好处：前面提到的 26 张关键帧，可以进一步压缩成 3 张图，Token 消耗又降了一截。
第五个亮点：不只是总结视频，而是带着目标去分析
在 0.3.0 版本里，加入了一个新参数 why，可以在命令行里直接告诉工具“你为什么要看这段视频”。比如：
crv "https://youtu.be/..." --why "find the pricing strategy" --kb ~/notes
配套的还有一个 kb 参数，会把分析结果保存到你自己的知识库（notes 文件夹）里，并按日期命名。这样结果就不会随着 crv-out 目录被清理而消失。
免费版之外，还有一个付费的 crv Pro
claude-real-video 开源免费的部分做的是“让模型看到视频”——场景抽帧、去重、拼图、时间轴对齐。项目主页同时也在推广一个一次性付费（19 美元）的 crv Pro，主打“让模型看懂视频”：比如识别镜头运镜方式（固定机位/摇镜/推拉/手持）、统计剪辑节奏，以及生成一份画面之外的“感知时间轴”，记录纯看画面推断不出来的信息（手势、表情、语气变化、情绪、非语音的声音事件），再配一份面向短视频创作者的分析报告等。
网友：应该去掉项目名字里的Claude！
对这个开源工具，网友的评论大致分两种。一种赞同项目的思路：
“这看起来很酷，但是应该去掉名字里的 Claude。”
“我认为这比单纯的 LLM 相关应用更有用。”
也有网友对技术方面提出疑问：
“我使用 ffmpeg 场景检测的经验是它很不稳定。它有时有效，但绝非可靠。”
写在最后
过去，我们总希望等待模型原生支持更长的视频输入。而这个项目提供了另一种路线：不是升级模型，而是升级上下文。模型接收到的信息被提前组织成了最适合理解的形式。未来，无论是视频、网页、代码仓库还是长文档，或许都不需要等待模型“原生支持”——只要能把信息组织成模型最容易理解的上下文，同样能获得接近原生能力的效果。
各位大佬觉得这个项目怎么样？欢迎在评论区分享观点！
参考链接：
https://github.com/HUANGCHIHHUNGLeo/claude-real-video
你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：Claude和ChatGPT能看视频的开源项目火了要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。
相关热点Ainder：与AI来一场不设限的智能聊天体验 想象一下，打开一款AI社交应用，通过左右滑动手指就能匹配到不同性格的AI聊天伙伴——好奇心旺盛的、幽默风趣的、大方睿智的。这并非科幻电影中的场景，而是Ainder这款人工智能聊天产品真实实现的功能。简单来说，它面向两类用户：一类是单纯想找个AI朋友闲聊
带娃这件事，从来都不是一项轻松的差事。从宝宝降生的那一刻起，吃喝拉撒睡、健康管理、营养搭配、发育监测，每一个细节都让父母格外谨慎，生怕遗漏任何关键信号。市面上育儿信息铺天盖地，真假难辨令人眼花缭乱。而今天要介绍的这款AI育儿平台，正是为了解决这个痛点而生——它叫Ask Mama ai，目标非常直接：
在客户服务与销售跟进领域，AI聊天机器人早已不是新鲜事物，但能真正实现“如同真人般自然交流”的产品仍然稀缺。ZoeBot Chat正是针对这一痛点而生——它并非简单的问答机器人，而是一个集客户互动、潜在客户追踪与自动化客服于一体的智能平台，覆盖网站与电子邮件两大核心场景。 什么是ZoeBot Cha
需求人群 通俗地讲，谁才是这款工具的实际使用者？正是那些在容器布局与不同屏幕间反复调整图片尺寸的用户——内容创作者、前后端开发者、电商企业团队，都在其中。无论你是希望图片在手机、平板、笔记本还是投影大屏上都能整齐划一、完美适配，只要你对“图片尺寸自适应”有需求，你就是它的目标用户。 使用场景 来看一
- 日榜
- 周榜
- 月榜
热点快看