2024年将是AI视频之年@英伟达高级科学家 Jim Fan
悉尼科技大学的科研人员，通过大语言模型、EEG（大脑活动检测工具）、脑机接口等技术，开发了一个可自动读取人类想法，并转化成文本的AI大模型——DeWave。
引入了感知遮挡的场景参数化，将场景解耦为遮挡、人体和背景三个部分。提出了一种新的渲染框架，分别渲染这三个部分，并设计了新颖的优化目标，以确保遮挡的清晰解耦和更完整的人体呈现。在具有挑战性的遮挡密集野外视频上对方法进行了评估，展示了其在呈现遮挡人体方面的有效性。Wild2Avatar通过与Vid2Avatar（基线）和原始视频的对比，呈现了其在解决被遮挡人物渲染挑战方面的独特性能。
12月31号晚上的演出更是重头戏:他们举行了跨年烟花和灯光秀，还有NPC蛋仔带着玩家一起蹦迪、合影。玩家们在这天晚上，叫上自己今年曾共同玩耍过的蛋搭子们，共同在游戏中摆成不同的姿势，有人叠高高、有人摆阵型，只为留下2024年的第一张蛋仔合影。
另外，DreamTalk还具有说话风格预测的功能，能够根据语音预测说话者的风格，并同步表情，使得动画更加贴近原始音频。此外，该框架适用于多种场景，可以用于歌曲、不同类型的肖像，甚至在嘈杂环境中也能表现良好。