免费AI“神器”系列第九弹：“字节版Sora”突然爆火；AI 代码软件走红网络｜钛媒体AGI

近期，生成式人工智能（AIGC）领域又涌现出多款创意十足的新应用。

今天，钛媒体AGI梳理了免费 AI “神器”系列第九弹，共五款，其中不少产品再一次拓宽了我们对AI的想象力。

• 字节推出的AI视频生成模型——AnimateDiff-Lightning
• 开源SDXL动漫模型——Animagine XL 3.1
• 视频自动生成音效的AI工具——Optimizer AI
• 通过摄像头能实现在纸上弹钢琴的AI应用——Paper Piano 纸钢琴
• 截图转代码应用——screenshot-to-code

产品信息：AnimateDiff-Lightning是字节跳动推出的文生视频大模型，该模型是从AnimateDiff SD1.5v2中提炼出来的，包含了1步、2步、4步和8步提炼模型的版本。其中，2步、4步和8步模型的生成质量非常好，为视频创作者带来更多了想象和助力。

产品功能：AnimateDiff-Lightning能够根据文本描述生成视频，比起原来的AnimateDiff模型，速度提升十倍以上。同时还可以与多种不同风格的基础模型结合使用，将现有视频转换成不同风格的视频。比如将现实风格视频转换成动漫卡通风格，以满足不同视频风格创作需要。此外，AnimateDiff-Lightning支持多步骤蒸馏模型，提供1步、2步、4步和8步的蒸馏模型，用户可以根据自己的需求，在生成视频的速度和质量之间做出选择，以平衡生成速度和视频质量。

体验地址：https://huggingface.co/ByteDance/AnimateDiff-Lightning?ref=top.aibase.com

论文地址: https://arxiv.org/html/2403.12706v1

2、开源SDXL动漫模型——Animagine XL 3.1

产品信息：Animagine XL3.1是由海艺AI与Cagliostro Lab合作推出的一款开源动漫文生图模型。相较于V3.0版本，Animagine XL 3.1在各方面都进行显著的技术性提升，使其对动漫作品和风格的理解更加深入，为用户提供更加强大的动漫图像生成体验。

产品功能：Animagine XL 3.1能够根据文本提示生成高质量动漫风格图像。为了提高生成结果的准确性，Animagine XL3.1采用了标签排序的方式，可以更准确地根据输入的标签进行生成图像，提高生成结果准确性。同时，Animagine XL 3.1拥有87万张图片的数据集，极大增强了模型对各种动漫角色的识别能力；引入全新概念“美学标签”，更新了质量和年份标签，不仅提高了生成图像的视觉吸引力，也确保图像风格一致性，符合更高要求的审美质量标准。

此外，Animagine XL3.1还解决了3.0版本中的过曝问题，提高了生成图像的质量。通过对算法和训练过程的优化，该模型在生成图像时，能够更好地控制图像的亮度和色彩，从而避免过曝现象的出现。目前V3.0在Civitai的下载量超7万。

体验地址：https://huggingface.co/spaces/cagliostrolab/animagine-xl-3.1

模型下载地址：https://huggingface.co/cagliostrolab/animagine-xl-3.1?ref=top.aibase.com

3、视频生成音效的AI工具——Optimizer AI

产品信息：Optimizer AI是一款可以为视频自动生成音效的AI工具，旨在提升游戏开发者、艺术家和视频创作者工作效率，通过音效为视频增添更多活力。

产品功能：首先，用户输入文字提示即可生成适用于视频中各种场景的声音和音效，包括游戏音效、动画背景音和视频配乐。用户还可以通过指定风格标签（如卡通、恐怖等）来引导生成不同风格的声音。

其次，Optimizer AI支持声音效果生成，包括变声功能，能够基于一个参考声音生成多个类似的声音。

再次，Optimizer AI可以生成用于背景音乐或创建特定氛围的声音，并能够处理和理解文本的信息，保持生成的一致性的同时还可以生成时长更长的声音效果。

最后，即将推出的视频到声音全面生成功能将允许用户从视频中直接生成声音效果，进一步扩展声音创作的可能性。

官网地址: https://www.optimizerai.xyz/

体验地址: https://discord.com/invite/bgfnVaaU2n

4、通过摄像头追踪在纸上就能弹钢琴的AI应用——Paper Piano 纸钢琴

产品信息：Paper Piano（纸钢琴）是一款通过摄像头追踪就能实现在任何一张白纸上弹钢琴的AI应用。Paper Piano（纸钢琴）的工作原理是通过在纸上预定义不同区域来代表钢琴键，当摄像头捕捉到手指触摸特定区域时，相应的音符将被生成。

产品功能：用户只需准备两张A4大小的白纸模拟钢琴键盘，Paper Piano（纸钢琴）通过摄像头跟踪和手指识别技术捕捉用户的手指移动，从而实现在纸上模拟钢琴键按压，奏出美妙音乐。值得注意的是，为了确保手指追踪的准确性，系统要求在网络摄像头的设置上注意角度、高度和距离，同时光线越强，性能也会越好。

不过，目前该项目尚处于支持最多两根手指的阶段，未来将支持更多手指和更高敏感度的训练模型，为用户提供更丰富的演奏体验。这一技术的发展可能带来更多有趣的音乐应用，使用户无需购买真正的钢琴即可享受演奏的乐趣。

体验地址：https://github.com/Mayuresh1611/Paper-Piano?ref=top.aibase.com

5、截图转代码应用——screenshot-to-code

产品信息：screenshot-to-code是一种基于人工智能技术的创新工具，旨在帮助开发人员将图像或界面设计截图转换成可执行的代码。用户只需上传截图，即可获得整洁的网页代码，如HTML、Tailwind CSS和JavaScript等。

产品功能：首先是智能生成代码，通过集成GPT-4Vision，该应用程序能够智能地分析截图并生成相应的HTML、Tailwind CSS和JavaScript代码，提高用户写代码效率。

其次是DALL-E3生成相似图像，应用程序不仅能生成代码，还可以利用DALL-E3生成与原始截图相似的图像，增强用户体验。

最后是实时代码更新，用户可以直接在应用程序中查看生成的代码，并在需要时通过与AI互动指令，调整样式或更新缺失的部分，以满足其需求。

因其简单、高效的图转代码功能，screenshot-to-code深受开发者和设计者欢迎，截至发稿，该应用在GitHub平台已累计超35000颗星。

体验地址：https://screenshottocode.com/

（本文首发于钛媒体APP，作者|章橙，编辑|林志佳）