FutureAGI

OpenClaw的爆火再次超出预期，结合近期关于Big Model与Big Harness的争论，我个人也深感技术发展之迅速，并对此感到些许迷茫。近期与一些业内人士交流后，针对目前AI发展最重要的三个要素：基模、脚手架和工具，我大致形成了一些看法，在此不妨分享。 人工智能的第一性原理：脚手架最终还是会被拆掉，大的脚手架不符合技术发展的终局 这本是我一贯的看法，但在OpenClaw这波热潮...

[Paper] [Code] 预训练和元训练：授模型以鱼和授模型以渔 训练最初以教会模型完成多种多样的任务为出发点。在大规模预训练中，模型除了记住训练任务本身之外，涌现出的最重要的能力就是上下文学习（In-Context Learning）。这种能力帮助大模型通过提示信息构建完成新任务的能力。 OmniRL提出了一种大规模元训练方法。与预训练不同，OmniRL的目标并非记忆具体任务的技...

[Paper] [Code] 世界模型与迷宫世界模拟器：上半部分为真实情况，下半部分为模型预测。 什么是通用上下文学习？为什么要强调它？ 我们认为，大模型智能涌现的核心能力包括两方面： 零样本泛化 (Zero-shot Generalization)：模型能够将其在训练过程中学习到的所有数据和知识，记忆在参数空间，并利用这些知识进行推理泛化以解决问题。 小样本上下文学习 ...

[Paper] [Code] 从参数规模化转向记忆规模化 什么是生物神经网络的信息瓶颈？它与神经网络的可塑性有何关系？ 信息瓶颈是生物神经网络的一个重要特征。在生物进化过程中，基因所承载的信息量，相较于高等动物（如人类）大脑的复杂性而言，显得极为有限。这一现象为人工智能带来了重要启示：由于信息瓶颈的存在，生物神经网络无法直接从上一代遗传大量的技能和知识，而是需要通过后天重...