阿里达摩院低调上线文本生成视频大模型:仅支持英文输入,已开放试玩

发布时间:2023-03-22 17:23
编辑:叶知秋
来源:IT之家
字体:  阅读量:8684   

感谢IT之家网友 大眼夹、打工轨道人、航空先生 的线索投递!

,近日,阿里达摩院已在 AI 模型社区“魔搭”ModelScope 上线了“文本生成视频大模型”。

根据官方介绍,目前文本生成视频大模型,由文本特征提取、文本特征到视频隐空间扩散模型、视频隐空间到视频视觉空间这 3 个子网络组成,整体模型参数约 17 亿,目前仅支持英文输入。扩散模型采用 Unet3D 结构,通过从纯高斯噪声视频中,迭代去噪的过程,实现视频生成的功能。

官方介绍称,本模型适用范围较广,能基于任意英文文本描述进行推理,生成视频。一些文本生成视频示例如下:

A giraffe underneath a microwave.

A goldendoodle playing in a park by a lake.

据IT之家了解,模型已经在创空间和 huggingface 上线,可以直接体验,也可以参考该页面自行搭建。模型需要硬件配置大约是 16GB 内存和 16GB GPU 显存。在 ModelScope 框架下,通过调用简单的 Pipeline 即可使用当前模型,其中,输入需为字典格式,合法键值为 'text',内容为一小段文本。该模型暂仅支持在 GPU 上进行推理。

从试玩的结果来看,目前能生成的视频长度多在 2-4 秒,生成等候时间从 20 多秒到 1 分多钟不等。

郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。

原标题:阿里达摩院低调上线文本生成视频大模型:仅支持英文输入,已开放试玩

上一篇:基于Ubuntu16.04的最后一个版本,UbuntuTouchOTA-

下一篇: 返回列表

关于我们| 广告合作| 免责申明| 加入我们| 意见与建议|
项城网 - 所载文章、数据仅供参考,使用前务请仔细阅读网站法律声明。备案号:苏ICP备2022014228号-6
网站地图项城网 版权所有 网站统计