Talk预告 | 加州大学圣克鲁兹分校朱芮捷：利用Loop语言模型扩展Latent Reasoning

本期为TechBeat人工智能社区第733期线上Talk。

北京时间12月10日(周三) 20:00，加州大学圣克鲁兹分校博士生朱芮捷的Talk将准时在TechBeat人工智能社区开播！

他与大家分享的主题是：利用Loop语言模型扩展Latent Reasoning，届时他将介绍新出的Ouro模型。它通过LoopLM架构复用权重，让1.4B的小模型也能在数学和代码任务上硬刚4B甚至12B的传统大模型。

Talk·信息

主题：利用Loop语言模型扩展Latent Reasoning

嘉宾：加州大学圣克鲁兹分校 · 博士生 - 朱芮捷

时间：北京时间12月10日(周三) 20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

Talk·介绍

LLM非要越做越大吗？字节跳动和UCSC新出的Ouro模型给出了反直觉的答案。它通过LoopLM架构复用权重，让1.4B的小模型也能在数学和代码任务上硬刚4B甚至12B的传统大模型。这种用“深度换空间”的思路，不仅打破了参数量迷信，也让端侧部署高性能推理模型成为了可能，LoopLM会是下一代架构的组成部分吗？

Talk大纲

1. 背景与挑战：

当前的大语言模型主要依赖显式文本生成（如思维链CoT）来进行推理，但这种方式将推理能力的培养延后到了后训练阶段，未能充分利用海量的预训练数据。

2. Ouro：

一个将推理能力直接融入预训练阶段的Loop语言模型(LoopLM)家族。其核心创新包括：(1) 在Latent Space中进行迭代计算，(2) 通过熵正则化实现学习化的深度分配，以及(3) 在7.7万亿token上的大规模训练。

3. 实验部分：

尽管Ouro模型仅有1.4B和2.6B参数，却能在广泛的基准测试中达到12B参数最先进模型的性能水平。我们的合成数据实验显示Ouro的优势并非来自更大的知识容量，而是源于更强的Knowleage manipulation能力。

4. 总结&展望：

我们还会讨论LoopLM如何生成与最终输出更加对齐的推理轨迹，以及这一方向如何为推理时代的模型Scaling提供新的可能性。

Talk·预习资料

论文链接： https://arxiv.org/abs/2510.25741 项目主页： https://ouro-llm.github.io/

Talk·提问交流

在Talk界面下的【交流区】参与互动！留下你的打call和问题，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

Talk·嘉宾介绍

朱芮捷‍‍‍‍‍‍‍‍‍‍‍

加州大学圣克鲁兹分校 · 博士生
‍‍‍

朱芮捷是加州大学圣克鲁兹分校的博士生，专注于重新定义大规模语言模型的效率与可扩展性。他的研究致力于探索能够突破标准 Transformer 局限性的模型架构，特别强调线性注意力机制与递归式序列建模。他目前正从事可扩展潜在推理能力的研究，目标是将迭代式思考直接融入模型架构，在降低计算开销的同时实现更高性能。

个人主页: https://www.techbeat.net/grzytrkj?id=45992

-The End-

如果你也想成为讲者

自荐 / 推荐

单人Talk | 团队专场 | 录播or直播 | 闭门交流

多种方式任你选择！

推荐讲者成功也有奖励哦~

关于TechBeat人工智能社区

TechBeat(www.techbeat.net)隶属于将门创投，是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！

更多详细介绍>>

预约本期Talk