FutureAGI

Non-common insights about AGI.

OpenClaw的爆火再次超出预期,结合近期关于Big Model与Big Harness的争论,我个人也深感技术发展之迅速,并对此感到些许迷茫。近期与一些业内人士交流后,针对目前AI发展最重要的三个要素:基模、脚手架和工具,我大致形成了一些看法,在此不妨分享。 人工智能的第一性原理:脚手架最终还是会被拆掉,大的脚手架不符合技术发展的终局 这本是我一贯的看法,但在OpenClaw这波热潮...

大规模元学习激发上下文强化学习

智能体在随机世界中学习在上下文闭环中迭代能力

[Paper] [Code] 预训练和元训练:授模型以鱼和授模型以渔 训练最初以教会模型完成多种多样的任务为出发点。在大规模预训练中,模型除了记住训练任务本身之外,涌现出的最重要的能力就是上下文学习(In-Context Learning)。这种能力帮助大模型通过提示信息构建完成新任务的能力。 OmniRL提出了一种大规模元训练方法。与预训练不同,OmniRL的目标并非记忆具体任务的技...

通用上下文学习基准

授AI以鱼,不如授AI以渔

[Paper] [Code] 世界模型与迷宫世界模拟器:上半部分为真实情况,下半部分为模型预测。 什么是通用上下文学习?为什么要强调它? 我们认为,大模型智能涌现的核心能力包括两方面: 零样本泛化 (Zero-shot Generalization):模型能够将其在训练过程中学习到的所有数据和知识,记忆在参数空间,并利用这些知识进行推理泛化以解决问题。 小样本上下文学习 ...

信息瓶颈和可塑递归神经网络

另一种尺度幂律:从参数规模化转向记忆规模化

[Paper] [Code] 从参数规模化转向记忆规模化 什么是生物神经网络的信息瓶颈?它与神经网络的可塑性有何关系? 信息瓶颈是生物神经网络的一个重要特征。在生物进化过程中,基因所承载的信息量,相较于高等动物(如人类)大脑的复杂性而言,显得极为有限。这一现象为人工智能带来了重要启示:由于信息瓶颈的存在,生物神经网络无法直接从上一代遗传大量的技能和知识,而是需要通过后天重...