开启左侧

[热点] 图片一键变影片 腾讯联合2大学推出Follow-Your-Click

[复制链接]
HILOVEYOUTU 发表于 2024-3-16 10:13:00 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,更可下载纽约情报站APP哦!

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
4 @6 r: U4 d4 {, ?4 O9 o8 T
                               
登录/注册后可看大图
一只小狗的图片加上一个提示词Raise head,Follow-Your-Click就能生成这只小狗将头抬起再垂下的重复动作影片。 不同提示词可生成不同动作影片。 (取自Follow-Your-Click网站)
证券时报官网创业板资讯网站券商中国报导,3月15日,腾讯和清华大学、香港科技大学联合推出全新图生视频大模型「Follow-Your-Click」,基于输入模型的图片,只需点击对应区域,加上少量提示词,就可以让图片中原本静态的区域动起来,一键转换成影片。
! n  \3 ~: U9 ?9 Z0 t" n
报道称,在目前的图生影片大模型中,一般的生成方法不仅需要用户在提示词中描述运动区域,还需要提供运动指令的详细描述,过程较为复杂。 另外,从产生的效果来看,现有影像产生视频技术在移动影像的指定部分上缺乏控制,产生的视频往往需要移动整个场景,而不是图像上的某一个区域,精准度和灵活性上有所欠缺。
为了解决这些问题,腾讯混元大模型团队、清华和港科大的联合项目组提出了更实用和可控的图像到视频生成模型Follow-Your-Click,带来更加便捷的交互,也让图片「一键点,万物动」成为现实。
. Q3 `/ S; N2 o: ^+ V+ }
不过,券商中国并未再深入报道更多细节。 实际探访其网站,Follow-Your-Click似只能将图片转换成2、3秒钟的影像,譬如将一只小狗的图片加上一个提示词Raise head,就能生成这只小狗重复将头抬起再垂下的重复动作影片。 网页上也注明这一技术的限制,这一技术路径仍在生成大型复杂的人类动作上,有所限制,这可能是与动作与复杂性以及相关的训练样本仍十分稀缺有关。
1 @/ I7 h/ I3 e9 T+ y
报道说,腾讯混元大模型团队,正在持续研究探索多模态技术,拥有业界领先的影片产生能力。 此前,腾讯混元大模型作为技术合作伙伴,支持人民日报打造原创视频「江山如此多娇」,生成中国大美河山的精美视频片段,展示出了较强的内容理解、逻辑推理和画面生成能力。

9 T- b) v) ]; D& n
2月15日,OpenAI在全球AI生成影片领域丢出一枚爆炸性讯息。 当日,该公司发布了一款名为Sora的「文字生成视频」模型,并向部分研究人员和创作者开放Sora的存取权。 Sora除了可以根据文字描述生成视频外,还可以根据现有的图片生成视频,目前可生成的视频长度在1分钟左右。

+ ~/ x4 O5 u5 ?  Z8 v" ~
紧跟着Sora,2月26日,GoogleDeep Mind团队发布了110亿参数的AI基础世界模型Genie。 仅用一张图片,便可产生一个交互式世界,生成的世界「动作可控」,用户可以其中逐帧行动。 谷歌表示,Genie开启了「图/文生成互动世界」的时代,也将成为实现通用AI Agent的催化剂。
+ q! P; |6 L- A- p9 q  d1 x; o
平安证券表示,OpenAI、Google相继发布多模态大模型Sora、Genie,AGI浪潮或将加速到来。
$ v0 d- @9 m2 w* C
报道说,2月28日,阿里巴巴智能计算研究所发表了一款全新的生成式AI模型EMO(Emote Portrait Alive)。 EMO只需一张人物肖像照片和音频,就可以让照片中的人物按照音频内容「张嘴」唱歌、说话,且口型基本一致,面部表情和头部姿态非常自然。
+ Z( r' C  n- O0 V1 g6 e
报道指出,EMO为多模态领域的视频AI带来新玩法。 不同于文生视频模型Sora,EMO主攻图+音频生成视频的方向:输入单张照片+任意语速的人声音频,EMO即可自动产生具有丰富面部表情和头部姿势的声音肖像影片。
点击下面文字可快速查看发布对应的便民信息!
纽约情报站让您的生活变的更简单
% q% @" p0 Y  J( Z" e. F/ \

简介:纽约情报站是汇集全美75万粉丝的公众平台。除了实时新闻、找工招工信息发布、app社区互动,更有微信公众号推文探店等。如果你投稿、爆料、活动策划、商务合作,或者想邀请我们去探店,请联系主编微信: nyinfor

9 A, q2 K2 d0 t

' c- D4 w$ _# t, y+ Z, z
9 i5 m. [% S& p2 N9 J3 k1 ~9 w
如任何机构或个人认为发布在本网页的信息侵犯其版权或有任何错误,请立即通知我们,我们会尽快做出相应处理. 纽约情报站郑重声明:本则消息未经严格核实,也不代表纽约情报站观点。纽约情报站对于任何信息的错误、不完备、迟延或依赖本网站信息所作的决定概不负责。 If any agency or individual believes that the information posted on this website infringes its copyright or has any errors, please inform us immediately that we will deal with it as soon as possible. New York Information Station solemnly declare that this message has not been strictly verified and does not mean New York intelligence station view. The New York Intelligence Station is not responsible for any errors, omissions, delays, or reliance on the information contained in this website.
回复

使用道具 举报

全部回复0 显示全部楼层

发表回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

楼主

联系客服 关注微信 下载APP 返回顶部 返回列表