新闻中心news
开云体育官网1秒钟生成3D模型腾讯混元甩出5款开源3D模型
智东西3月19日报道,今天,持续2天的混元3D开源日活动收官,腾讯混元一次性开源了5款全新的3D生成模型。其中,运用了腾讯自研3D生成加速框架FlashVDM的3款模型,实现了秒级3D资产生成,较今年早些时候开源的Hunyuan3D-2版本提速30倍左右。
除了生成速度的提升之外,本次腾讯混元开源的3D模型还在贴图细节、材质表达上有明显提升。基于物理渲染(PBR)功能背后的模型从测试版升级到正式版,能让3D模型在渲染过程中更加真实,符合物理规律。
面向创作者,腾讯自研的3D AI创作引擎迎来升级。新增的多视图输入功能可提升创作过程中的可控性,模型3D智能减面功能则可以降低模型的渲染压力。这一引擎还可以作为插件,直接在3D编辑工具Blender中生成3D资产。
现在,这一创作引擎已经支持了更多主流3D格式,可直接3D打印,也可将3D生成结果作为视频和动图分享,满足不同类型用户的使用需求。
这3款模型均采用了腾讯自研的FlashVDM通用加速架构,主要适用于在端侧快速生成3D资产,Hunyuan3D-2mv Turbo进一步支持了多视图输入。FlashVDM这一架构不仅能用于混元3D模型,也兼容大部分其他3D生成模型。
采用FlashVDM加速架构的模型,能将显存占用降低到5GB以内,生成时间缩短到1秒以内,兼容MacOS、Windows等操作系统,英伟达4050、3050、2060、1070等显卡均可以快速运行,若设备没有配备显卡,也可以在搭载M1等CPU的设备上流畅运行,获得比较合理的运行速度。
这一加速究竟是如何实现的呢?混元团队分享,3D模型的生成就好比堆积木,VAE解码是将画面分为多个积木,而将积木组装起来的流程便是DiT采样,上述两个环节占据了生成过程中超过99%的计算负载。
目前,主流3D生成模型采用Vecset架构。以采用这一架构的Hunyuan3D-2为例,生成一个3D模型大约需要半分钟。经过FlashVDM加速后,Hunyuan3D-2的生成耗时最短可以达到1秒钟,而Hunyuan3D-2 mini模型生成耗时最短可达半秒钟。
在DiT环节,FlashVDM的渐进式流蒸馏技术将标准版模型几十个推理步骤浓缩至个位数。在VAE环节,层次化体素解码技术将体素查询量减少了95%,动态KV选取降低30%,在与高效网络设计的结合后,计算量还可以进一步降低。
加速并未对模型的生成效果带来明显影响。在专业创作者的盲测中,仅用5-8步实现模型生成的Turbo模型,与未经加速的原版模型相比,可比率达到90%左右。
混元团队也分享了他们开发FlashVDM的原因。一方面,艺术家对3D模型的生成质量和可控性有一定要求,但在创作过程中,艺术家也需要有即时的反馈,才能快速迭代设计。在复杂场景中,如果能将单个模型的速度从30秒-60秒降低到1秒,将会极大地节约创作时间。
腾讯混元3D AI创作引擎在开源日中迎来一系列升级。Web端多视图功能背后的模型Hunyuan3D-2mv,轻量版模型Hunyuan3D-2mini相应开源,而完整版的Hunyuan3D-2已经于今年稍早时候开源。
首先是多视图功能,这一功能支持用户上传2-4张标准视角图片,从而生成高精度、高质量的3D模型。
多视图模型提升了用户对生成结果的可控性,针对游戏制作、3D UGC创作等场景,可以大幅降低3D设计师从多视图原画到三维模型的制作成本。
在直播活动的实测中,测试人员用手机摄像头拍摄了随意放置在纸杯上的腾讯企鹅公仔,并上传正反面照片,模型在1分钟之后便给出了这一场景的3D建模。
腾讯混元3D AI创作引擎还引入了3D智能减面能力。在建模过程中,AI模型可能会将一些画面刻画得过于细致,切分为成千上万个三角面,这会给后续3D资产的渲染带来很大压力。
3D智能减面可以自适应生成几百至数千面的三角面,进一步提升几何边缘平滑度,生成结果可在低面片的基础上最大化体现模型细节,让模型布线更加规整,以降低渲染难度,提升模型可用率及生产效率。
实测中,在生成桌子这类几何结构较为简单的模型上,智能减面极大地减少了模型的三角面数量。而在生成下方的的青龙3D模型时,智能减面会在细节丰富的部位保留更多面数,在细节不多的部位自动减少面数,实现了成本和效果的平衡。
此次升级还实现了PBR(基于物理渲染技术)的材质生成效果提升,通过物理特性模拟技术,赋予模型更真实的颜色与材质表达。
兼容性上,除通用OBJ、GLB、FBX外,腾讯混元3D AI创作引擎现在可输出STL、USDZ、GiF、MP4等主流格式,无缝连接3D打印工具,也可支持模型快速预览及移动端实时交互,满足不同业务场景对3D模型格式的使用要求。
据腾讯混元团队分享,他们未来还将进一步提升模型和加速框架的性能。FlashVDM目前仅支持对3D模型生成的加速,而未来将加入对纹理生成的支持,从模型到纹理的生成管线秒钟以内,AI编辑功能也在研发过程中。
在腾讯混元3D开源日的直播过程中,有不少网友对混元3D模型的表现和开源决策表达了赞赏。相信无论是动漫创作者、游戏开发者等创意人士,还是3D模型的开发者,都能本次开源的模型中受益。
03月13日,2023年12月份70城房价环比下降 同比有涨有降,168一路发,365bet官网网址是多少,闪电玩,阳光在线日,韩媒:韩最大在野党拟促成国会7日表决尹锡悦弹劾案,888真人在线买球,牛牛打团怎么才可以赢,365bet官网最新网址,必博体育官网平台app
03月13日,全是科技感!!台湾大学生“闯”小米Su7工厂,开走无人驾驶汽车?,体育在线app下载,亚星官网娱乐网站,优博网站是什么,千亿体育手机官网
03月13日飑线edf壹定发手机官网茶湾港料电玩游戏中心365体育官方登陆
03月13日学习卡|如何打造覆盖全球的“朋友圈”?这里有一份中国答案开元娱乐是哪里的博鱼网页版芒果体育官网下载华纳公司开户
03月13日海南国际商业航天发射中心一号发射工位启动模拟箭吊装训练365bet体育直播开户AG真人靠谱网站bob官方平台入口美女五行图……
03月13日,中国与粮农组织多方成员共促亚太区域粮食体系转型,热血无赖麻将,雷速体育4.0版本,美国服务器网站,好玩的棋
03月13日,李辉特代结束第二轮穿梭外交 中方介绍情况,m6米乐手机登录,金沙信誉投注,千亿体育网站登录,K8凯发投注登录
03月13日今年首次大范围雨雪过程开启 江南东北等地气温波动频繁K8凯发买球币游娱乐充值日博最新letou首页入口
03月13日,印尼中爪哇省一娱乐场所火灾已致6人死亡,炸金花一开始发几张牌,棋牌斗牛牛,黄宝国际线日,从春节申遗看中华文化走向世界,现金官方网站,九州天下现金,斗球官网入口下载,乐动体育app下载
03月13日,中国饭店协会倡议:OTA平台持续优化入境人员支付体验,米6体育下载,库博体育app官网,ag真人试玩入口,宝马线上娱乐网址
03月13日三峡坝区油菜花烂漫绽放 春意盎然景色如画千赢游戏中心官方网站威尼斯人备用网址一肖爆特365bet体育安卓版下载
03月13日日本执政联盟在众议院选举中未获过半议席ag正规真人实体平台菲律宾亚星娱乐网址百老汇盘口官网鸭博体育
03月13日湖南降雨持续偏多 洞庭湖水位已超2023年最高值纬来体育登陆英亚体育平台下载斗牛配牌口诀yabo22vip最新版APP
汉密尔顿 法拉利,宋茜 挥手告别祝福就好亚洲杯国足0:1不敌卡塔尔 排名小组第三出线待定可以买球的网站乐鱼全站官网登陆澳门沙巴体育网址kok在线开户
IT狂人 第四季,周游记海口兴潮天后宫重修开放:妈祖文化联结海内外乡情888贵宾会appbet356亚洲版在线体育投注亿博体育登陆杏彩平台下载
夜幕降临,张泽禹张极双人舞广东已成立深圳深江铁路重大坍塌事故调查组斗球App爱游戏电竞app官网千亿棋牌官网最新版qy988新沙巴体育投注
国务院食安办通报油罐车事件,开云体育下载Scout 阿卡丽长三角启动2024年工业产品获证企业证后监管交叉互查赌搏平台app升博官网是多少澳门人威尼斯官方棋牌能下分的
无罪的罪人,妈妈按天给大学生女儿发50元三部门:紧急调拨中央救灾物资支持新疆乌什县做好抗震救灾工作百胜国际真人打牌云顶娱乐在线下载沙巴体育唯一授权网站TB体育下载
姜萍,我要抢走你的恋人。月子中心,省心还是闹心?体育担保网188体育登录官方版伯爵官方网站贝博体育平台app