低端显卡登上AI的大船!6GB显存就能生成高质量视频

GitHub的低端登上Lvmin Zhang联合斯坦福大学的Maneesh Agrawala,发布了一项突破性的显卡B显新技术FramePack,通过在视频扩散模型中使用固定长度的船G存时域上下文,可以更高效地生成时间更长、生成质量更高的高质视频。
根据实测,量视基于FramePack构建的低端登上130亿参数模型,只需一块6GB显存的显卡B显显卡,就能生成60秒钟的船G存视频。
FramePack是生成一种神经网络架构,使用多级优化策略,高质完成本地AI视频生成。量视
目前,低端登上它底层基于定制版的显卡B显腾讯混元模型,不过现有的船G存预训练模型,都可以通过FramePack进行微调、适配。
典型的视频扩散模型在生成视频时,需要首先处理此前生成的带有噪音的帧,然后预测下一个噪音更少的帧,而每生成一帧所需要输入的帧数量,就是时域上下文长度,会随着视频的体积而增加。
这就对显存有着很高的要求,一般至少得有12GB,而如果显存不够多,生成的视频就会很短,质量很差,生成的时间也会很长。
FramePack会根据输入帧的重要性,对所有输入帧进行压缩,改变为固定的上下文长度,显著降低对显存的需求,而且计算消耗与图片扩散模型类似。
同时,每一帧画面生成之后,都会实时显示,方便即时预览。
FramePack还可以缓解“漂移”(drifting)现象,也就是视频长度增加、质量下降的问题,从而在不显著牺牲质量的同时,生成更长的视频。
FramePack数据格式支持FP16、BF16,显卡硬件支持RTX 50、RTX 40、RTX 30系列显卡,除了RTX 3050 4GB几乎所有的近代显卡都没问题。
在RTX 20系列和更老显卡上尚未经过验证,也没有提及AMD、Intel处理器的需求。
操作系统支持Windows、Linux。
性能方面,RTX 4090经过teacache优化之后,每秒可以生成大约0.6帧。
相关文章
- 今年上半年,全省50条“丝路海运”命名航线中,从厦门港始发的43条命名航线运作成绩亮眼,共开行593个航次,完成集装箱吞吐量44.02万标箱,比去年同期增长12.33%。同时,2025-07-11
- 今日,发行商华纳兄弟游戏和开发商 NetherRealm Studios 宣布《真人快打 1:终极版》已在 PS5、Xbox Series X/S、Switch 、Steam 和 Epic 平台上线。2025-07-11
- 时隔25年的经典名作新篇《饿狼传说:群狼之城》上个月发售,但是市场表现不佳,5月13日SNK宣布社长松原健二离任,今后将担任高级顾问,官方没有解释具体原因。·松原健二是日本游戏界资深元老,之前曾担任光2025-07-11
- 最近,在亚马逊年度招商会上,米高梅+和Prime Video首次展示了由尼古拉斯·凯奇主演的真人版《暗影蜘蛛侠》的首张剧照。该剧改编自漫威漫画《暗影蜘蛛侠》,由索尼影业制作。本剧设定于1930年的纽约2025-07-11
- 记者昨日走访发现,不少电动车存在乱拉电线充电、停放地点选择不当等安全隐患。记者 陈理杰 摄厦门网讯(海西晨报记者白斌斌见习记者林逸君)近日,发生在广西的一起火灾再次给人们敲响了警钟。5日清晨6时许,广2025-07-11
- 如今各种游戏周边中,珍贵的卡牌一直的是抢手货,随着价格越来越贵,导致各种违法事件频发,日前英国警方宣布,抓获了一名超级宝可梦卡牌大盗,涉案卡牌估值高达25万英镑。·根据BBC的报道,Greater M2025-07-11
最新评论