智谱AI开源CogVideoX视频生成模型丨“清影”同源,将成为国产Sora

大半夜的,大洋对岸不卷,国内公司卷起来了。 我真的想睡觉,真的。 起因是我睡觉之前,在看Github的时候,无意间看到THUKEG这个号,更新了一个项目。Cog

大半夜的,大洋对岸不卷,国内公司卷起来了。

我真的想睡觉,真的。

起因是我睡觉之前,在看Github的时候,无意间看到THUKEG这个号,更新了一个项目。

图片

CogVideoX。

网址在此:https://github.com/THUDM/CogVideo

THUKEG算是智谱的官号,而CogVideoX,则是前两周很火的智谱的第二世代AI视频清影的基模型。

用最通俗的话理解就是,CogVideoX等于GPT4o,而清影等于ChatGPT,你就可以简单的理解为,一个是模型,一个是基于模型做的产品,所以其实可以画个等号。

前两周,第二世代的AI视频大战,在已有的三幻神Runway、可灵、Luma的基础上,Pixverse上线了V2版本,Vidu的模型也千呼万唤始出来。

而作为大模型领域最明星的AI公司,智谱,也加入了这场AI视频的混战,发布了他们的DiT视频产品,清影。

这个产品,在他们的AI助手智谱清言上,就能用。

图片

但是非常坦率的讲,我没有写它,是因为我觉得,在生成效果上,确实跟可灵、Runway,还是有一定的差距。

而在发布清影的两周后的今天,他们决定,把CogVideoX,开源了。

那就值得,吹一波了。

图片

CogVideoX模型下载地址:

https://huggingface.co/THUDM/CogVideoX-2b

现在主流的AI视频,全都是闭源的,有一个开源的Open-Sora,但是说实话,效果也差强人意。

而清影,效果虽然跟主流的闭源模型尚有差距,但是在跑一些内容上,至少是可用的状态。

这一次开源的,我大概翻了下,开源的是一个CogVideoX-2B的小模型。

推理需要18G显存,也就是说,在有单卡3090或者4090的时候,就可以直接本地跑视频了,不需要再烧钱了,不过看峰值会到36G,大概率会爆显存。

不过他们自己也说了,马上就会优化。

不过我只有一张小垃圾4060.显存就8G,你优化完我也跑不动。4090.说实话,也真的没钱买= =

啥时候AI视频模型,也跟SD1.5一样,能普惠众生人人皆可跑就好了。

这个2B的模型,视频长度是6秒,帧率为8帧/秒,视频分辨率为720*480.

这参数,有一股子即梦初代的那感觉了。

我放几个他们官方的case(其实你去清影上跑几个是差不多的)

一艘精致的木制玩具船,桅杆和船帆上雕刻着复杂的图案,在模拟海浪的蓝色长毛绒地毯上平稳地滑行。船身漆成浓郁的棕色,并带有小窗户。地毯柔软而有质感,提供了一个完美的背景,就像一片广阔的海洋。船的周围环绕着各种玩具和儿童用品,暗示着一个充满童趣的环境。这个场景捕捉到了童年的天真和想象力,玩具船的旅程象征着在异想天开的室内环境中的无尽冒险。

图片

镜头跟在一辆白色复古越野车后面,车顶有黑色行李架,越野车在陡峭的山坡上沿着松树环绕的陡峭土路快速行驶,轮胎上的尘土飞扬,阳光照在越野车上,越野车在土路上快速行驶,给整个场景投下了温暖的光辉。土路缓缓弯向远方,看不到其他车辆。道路两旁的树木都是红杉,还有零星的绿色植物。从后方看,汽车轻松地沿着弯道行驶,仿佛在崎岖的地形上行驶。土路本身被陡峭的丘陵和山脉环绕,头顶是晴朗的蓝天和飘渺的白云。

图片

在一个饱受战争蹂躏的城市,废墟和残垣断壁诉说着满目疮痍,在这个令人心碎的背景下,一个凄美的特写镜头定格了一个年轻的女孩。她的脸上沾满了灰烬,无声地证明着周围的混乱。她的眼睛里闪烁着悲伤和坚韧,捕捉到了这个因冲突而失去天真世界的原始情感。

图片

推理大概是这样,但是开源出来,我更期待的,其实是微调和插件的生态。

比如现在大家都在用的AI绘图SD的1.5模型,基模其实做的就跟一坨屎一样,但是毕竟是开源的,一堆大神基于SD1.5.做出了非常牛逼的模型,比如Majic、DreamShaper、Anything等等。

而CogVideoX,也是可以微调的。

想起了在WAIC上,阶跃星辰跟上影做的AI视频模型,他们用了200分钟的葫芦娃素材,就调了一个葫芦娃大模型。

图片

你出的所有的东西,都是葫芦娃风格,你也不用费劲巴拉的去搞什么角色一致性了,我输入大娃,那就出来的就是大娃,我写爷爷和蛇精在一起哈啤酒,那就是他两。

而现在,CogVideoX开源,我们可以微调的情况下,一些用AI做短剧和长剧集的,完全可以试着微调一个自己的视频大模型,来个性化风格和角色。

因为我自己一直觉得,文生视频的上限和表演动态,是比图生视频要高很多的,但是两个最大的坎是风格一致性和角色一致性,如果可以微调,那也是有很多办法可以去解决了。

CogVideoX-2B的微调,需要的显存是40G,普通的显卡不行了,得上A6000这种渲染卡了。

不过毕竟是视频模型,不说普惠到普通大众,但是对于一些初创公司和小企业,这门槛几乎就是约等于0.

因为,这是开源的,他们不需要再从0开始花费无数资金去做一个自己的大模型,去趟这一趟坑,他们只需要,买点本地的卡,加起来也就几万十几万,然后,就可以本地微调了。

我也一直相信,开源的未来,一定比闭源强。

扎克伯格在前段时间发LLaMa3.1 405B的那天晚上,在Facebook上发了一封万字公开信。

其中有一段话让我印象很深刻。

图片

翻译过来是:

我坚信开源是实现积极AI未来的必要条件。AI相比任何现代技术都有更大的潜力提升人类的生产力、创造力和生活质量,并加速经济增长,同时推动医疗和科学研究的进步。开源将确保世界上更多的人能够享受AI带来的益处和机会,防止权力集中在少数公司手中,使得这项技术能够更加均衡、安全地在全社会推广。

防止权力集中在少数公司手中,使得这项技术能够更加均衡、安全地在全社会推广。

开源,就是最好的手段,闭源并不会带来技术平权,但是开源会,因为AI不是一个娱乐工具,他是生产力工具,他的推动,主要都来自于公司、研究机构等等。

而每个公司,在使用AI时,都有三个很大的痛:

1. 他们需要训练、微调和提炼他们自己的模型。

2. 他们需要保护他们的私有数据。

3. 他们希望把自己的AI变成长期标准的生态系统。

这一切,汇总起来,就一句话:

我们需要能控制自己的命运,而不是把命交给别人。

而在国内,智谱是我觉得很特别的公司,它很像OpenAI,又有着Meta的气质。

要知道Meta的商业模式,和一些大模型公司比如OpenAI的商业模式完全不一样,他们不靠卖大模型的使用权收钱,所以开源其实对于Meta来说,并没有多大的影响。

但是智谱不一样,智谱是一家大模型公司。

但是在这样的考量下,他们依然,毅然决然的开源了。

可能他们也像Meta一样,为了那个很崇高的信仰:“使得这项技术能够更加均衡、安全地在全社会推广。”

除了CogVideoX外,他们还开源过N多东西。

去他们的Github上翻一下,你就会发现很多惊喜:

https://github.com/THUDM

图片

我爱每一个愿意开源的公司。

我期待未来某一天,无数的开发者在CogVideoX的基础上,开发出了各种各样的插件和微调模型,每一个影视、短剧、广告等等等各种跟视频有关的行业的公司,也都有自己N多的模型和各种各样的视频生成工作流。

就像SD在各家企业里,繁荣昌盛。

我佩服智谱。

这不仅是一个技术的决定,更是一种信念的传递。

大洋对岸的灯光渐渐熄灭。

而我们这边的黎明。

正在冉冉升起。