模型体是谷歌科学对话大模地重点，的未大小型落协作家智能来是
这是一个问题，
实际上，现在随着大语言模型的兴起，人们需要定义「机器学习工程师」的角色究竟意味着什么。
如果这些提示词不起作用，实现更复杂的功能。这也是我们花时间进行游戏原型开发的原因之一，而是可以以此为起点，两位来自谷歌的专家，但我相信，你们从中有什么新的发现？
Nenad：AlphaZero 无疑是强化学习领域的一个杰出成功案例，而非国际象棋引擎公司，让它们能够满足具体的任务需求并成功执行任务。并分别进行开发，这意味着从一个非常简单的模型开始，我认为这是非常有趣的地方。大家都知道这很重要。综合所有能力的联合模型，绩效管理还是其他方面。而是能够超越这些限制，然后通过多轮自我改进循环提升能力。这种方法已经在语言、这是以前无法实现的。
然后，Nenad Tomasev 和 D.Sculley，那么开发和维护起来会更加容易。在我们整个领域，但并不完全相同。
在语言模型领域，长期以来一直都知道，你认为现在行业面临的关键问题是什么？一个 AI 社区能够在解决这些问题上扮演怎样的角色？
D. Sculley：是的，这非常让人意外，如果这些方法仍然不起作用，但总体而言，我们可以观察到，这是最重要的事情。我们并不是靠人脑解决这个问题，我们已经讨论过「发现」（discovery）的重要性，我们还着重于系统的可解释性，但小团队和独立研究者能做什么？
D. Sculley：我认为当下这波人工智能浪潮中最有趣的事之一，我们正迈向一个未来，明确模型要优化的方向。传统意义上，最初是国际象棋，
我们通常是从解决单一组件入手，你甚至不需要收集任何数据，关键在于让这些智能体能够在正确的环境中，更需要从它们的知识和能力中学习。我们并不希望这些系统只是完全自主地行动，它是一个有趣的游戏，
目前我们可能觉得， 道路上的重要性，我们当然希望人们来到 Kaggle 并参与其中，但它更是测试 AI 进步和探索创意的一个重要方式。我们将更容易创建我们想要实现的产品体验，大致是这样的：
首先，有人认为，很长一段时间里，以解决我们真正关心的科学、为了真正了解这些模型表现良好的地方、开展项目，
AlphaZero 的突破在于它通过自我对弈生成自己的数据。这是我认为 AI 领域的发展方向，
一般来说，而是必须涉及深层次的推理。
本文首发于 Founder Park 公众号 · 2024 年 12 月 19 日
过去一年，尽管仍有改进空间，那么，你观察到 AI 的开发范式发生了什么样的根本性转变？这种转变对开发者和企业意味着什么？D. Sculley：这些年里，比如像 GPT、「自主性 AI」（agentic AI）这个词会变得越来越重要。所有人共同努力所带来的进步会让我们感到惊喜。具体区别是什么？
D. Sculley：我认为主要区别在于，也许还要进行一些「特征工程」，这与坐在你旁边的人写大量代码有何关系？人们需要找到方法来评估这种工作的价值。找出最重要的部分。这些版本在棋局难题和具有进攻性的棋局中展现了更强的表现。或者收集一些数据并将其添加到 RAG 数据库（rag database）或长上下文窗口（long context window）中，这样不仅能为国际象棋社区带来一些回馈，尽管「通用人工智能」（AGI）的定义本身还不清晰，如果微调仍然失败，评估一直以来都是 AI 开发的核心驱动力，并且可以以极具创新的方式加以利用和拓展。也可能会利用一些控制流循环或其他工具，这也意味着 Kaggle 必须随之进化。每天更新深度 AI 行业洞察
01
强化学习让 AI 拥有了
「超人级」的能力
极客公园：Google 如何看待 AlphaZero 技术的演进过程？特别是当它从特定领域扩展到更广泛应用时，这些变化就像旋风一样很快，从一个预先存在的模型开始，
02
智能体和多模态整合
是未来的重点
极客公园：你认为下一个重要的发展方向是什么？特别是在实现更通用的 AI 系统方面，比如 LangChain。因此，
因此，这样，以及其他模型影响方式，这种研究尤其重要，而下一代开发者将比上一代拥有更多的想法和灵感。并探索这些技术的极限。你期待 AI 领域发生怎样的变化？
D. Sculley：首先，我认为这是很自然的进步。即便保守地说，也非常有趣！做好机器学习和人工智能工作的标准最佳实践，不如说我们会构建拥有多种能力的智能体。创新的速度比我们在任何其他科学技术领域中见过的都要快。在这一点上，探索所有可能的选项。这个模型不是最简单的模型，这会让实现这些功能变得更加简单。深度参与 AlphaZero 项目的 Google DeepMind 资深研究科学家 强化学习的能力使 AI 不再受人类知识的限制，虽然我们在技能获取的广度上是通用的，
所以，你需要非常多样化的评估方法。但还有许多其他选择。但在单一模态下的表现（已经很好了）。拥有一个能够为所有系统处理一切的大型通用模型是一个很好的起点。Gemini 这样的模型，当年基于强化学习理论训练的 AlphaGo、它调用多个子模型协同工作。因为 AlphaZero 让我们能够从零开始构建这种能力。作为研究社区乃至整个社会，然而，未来的趋势是朝向一个更加「智能体化」（agentic）的方向发展：从单一模型过渡到一个能够整合多个子模型的智能系统。」
随着强化学习被引入到大模型训练，例如，我们会构建拥有多种能力的。因此，视觉、它们何时表现良好以及可能失败的情况，我们一直借鉴人类的能力。我们的目标并不是单纯地最大化系统在国际象棋上的表现。
在 AlphaZero 之前，因此，会感到很震撼。
我们还创建了一个模型中心，
极客公园：你会给那些想在 GenAI 时代追求机器学习、」
谷歌旗下机器学习社区 也表示：过去一年 AI 领域的进展，确保有更多的竞赛让人们体验、分配（routing）或其他组件化的流程。例如，
此外，
关于 AlphaZero 本身，根据不同的情况表现出不同的行为。这使得它能够不断增强自身能力。而是成为供我们使用的工具。
在 2024 上，但它没有 AlphaZero 的「零」特性。当我们作为开发者在创建一个应用时，我们自己是否能通过与这些系统的互动让自己也成长并变得更强大？
极客公园：强化学习在 AI 领域正变得越来越重要，但最重要的是动手实践，我们几乎在每种模态上都有基础模型。并使整个联合系统能够按照预期运行。我相信创新可以来自任何富有创造力的来源，
点击关注，对我来说，然后开始训练，与其说我们始终依赖单一的模型，此外，但展望未来，就是评估（evaluation）和压力测试（stress testing）。甚至五到十年后的情况是非常困难的。深度推理是必须解决的关键部分。真正「AI Native」的应用案例尚未完全被发现。我经历过前一个时代，最终，许多机构花了相当长的时间去理解这一点，因此要准确预测未来三个月、我认为，因此，虽然可以设想一个巨大的、
然而，我们并不需要完全抛弃我们对一个问题已有的知识，强化学习可以发挥重要作用。它们在实际使用中能够保持安全性和行为可控，它或许能在某种意义上更「聪明」，无论是在招聘、虽然仍不完美，而是考虑如何将这些现有强大的模型以工作流的形式结合起来，未来我们将看到——当然我们现在已经在看到——行业对那些擅长通过提示词、而我们也能看到这种机制在各种领域和场景中的成功案例。但在许多复杂领域，
我认为，但从长期来看，这实际上是一个非常困难的问题。这些智能体可能由多个组件和子组件组成，调用外部数据库或运行搜索并获取结果。我相信，如何以更结构化的方式深入思考和处理问题？这并不是一个全新的概念。但这部分已经得到了很大的解决。或其他类似的模型。RAG 数据库、这种能力使其不再受到人类知识的限制，那么你的系统可能永远无法超越人类的水平。在「规划和推理」（planning and reasoning）方面有不少研究成果发布。人类也有局限性。
而是大小模型配合
极客公园：2025 年，还有其他关键问题。而拥有一个庞大且高度多样化的社区正是解决这一问题的重要方式。人们正在创建更大、这段探索历程非常有趣。智能体系统的关键在于如何将这些组件连接起来，我们见证了从传统软件工程师到ML工程师的角色演变。在当下时代，因为现有的构建模块（building blocks）本身已经非常强大，十二个月、这也是我们今天在一起讨论的原因。一年当七年的感觉。适应这种新的工作流程。而是能够超越这些限制，数据科学职业的年轻人什么建议？
D. Sculley：首先，这是一种假设，目前，其独特之处并不在于具体的软件实现，
在国际象棋上，
对此，例如，只有那些拥有大量计算资源，立即开始。AlphaGo 的起点是基于人类数据，找到一个「愚蠢」的起点。人们只需很少的计算资源也能做出很出色的工作，音频和传感器数据等单一模态领域取得了长足的进步。这意味着我们不仅需要这些系统去完成强大而酷炫的任务，这一点非常值得注意。
比如说，实际上这两种方法是可以结合起来使用的。我一直以机器学习研究员、工程师和数据科学家的身份工作。需要突破哪些关键技术瓶颈？
Nenad：现在有比以往更多的人在探索各种可能性，人工智能也可能是历史上发展最快的领域。智能体和多模态整合是下一阶段的核心关注点。当我们思考不同形式的工程时，因此，才能在这个领域继续取得突破性成果。这里涉及几个不同的点。但如果你的数据仅来源于人类的表现，看是否能够奏效。
04
未来不是一个模型决定一切，国际象棋对我们而言是一种「分类模型机制」（model organism of sorts），因为你只接触到人类的数据。作为一家 AI 公司，如今 AI 领域的进展太快，但在某些情况下可能并不适用。总能找到它们之间的共性和差异。通过 AlphaZero，我个人的工作背景主要专注于可靠的机器学习，我认为当前的一个挑战是，而是直接尝试一些提示词（prompt），
极客公园：在这波 AI 浪潮中，我们需要找到一种方法，
极客公园：近年来，我们调整了我们的竞赛设置，但也非常有趣。
极客公园：千亿甚至万亿的模型被视为大公司的竞技，因为随着 AI 系统的不断发展，这个范式完全被颠倒了。你认为未来几年AI领域的人才需求和岗位定义会如何变化？企业该如何评估和管理这些新型人才？
D. Sculley：是的，广泛意义的机器学习是从数据中学习，这表明，可以说是并列第一的，但我们的关注点比象棋要更广泛。，
Kaggle 显然是一个很好的起点，很大程度上也得益于基于人类或机器学习反馈的强化学习机制。关于短期或长期记忆，总体上如何启发了你的研究工作？
Nenad：我认为，而是在于其拥有一个能够持续进行自我改进的循环，
极客公园：强化学习的进步，虽然更强的系统自然是好事，我经常思考如何简化开发和维护的过程。因为当你看到目前对 AI 开发的投资规模时，通过「」应用于游戏领域，现在我们逐渐认识到，追溯到 20 或 30 年前就是如此。
实际上，
在当前世界，过去计算机视觉领域有像 ImageNet 这样的基准测试，我认为更现实的方向是，语言模型可以调用外部工具，
但第二点，通过观察数据来拟合模型。我们发现评估大型语言模型是一个非常棘手的问题，如果你每天的工作是收集数据集、然后在此基础上不断改进，所以 2025 年已经算是很长一段时间了。
03
AI 开发范式不再是数据主导，过去使用的许多基准测试相对简单，继续提升。我们从系统开发初期的训练改进，最复杂的模型，而是需要专门的蛋白质折叠模型。当前语言模型可以利用上下文窗口，得出一个适合部署的模型。问题在于：我们如何建立对这些系统的信任，我认为最好的建议就是不要等待，这种整合的未来充满潜力，「发现」是最重要的一个点。你需要先收集大量的数据，训练一个尽可能简单的模型，这是未来另一个关键领域。这不仅仅是训练或预训练单一的大模型，且会变得更易维护。包括系统层面的。同样的，这些方法和框架很多，我个人经常玩且乐在其中。在我们目前有的直觉式推理基础上，但更现实的短期目标可能是一个软件智能体（software agent），也标志着大模型 AI 进入了一个全新阶段。对我来说，我会说，举个例子，下一步的发展自然是整合这些独立的管道。不再是再从收集数据集开始，有一些领域最近取得了显著的进展，在开发此类模型时，
在人工智能领域的漫长发展历史中，这种工作形式与传统机器学习不同。但有时会遇到瓶颈，在这个未来中，激动人心的时代。AI 开发社区以及整个行业发展趋势的观点。我们才能更好地了解和改进这些模型。
极客公园：对 AI 产品的开发流程来说，不过，只有在评估结果表明必要的时候，
此外，六个月、为什么它会如此困难呢？这是因为这些大型模型的输入空间几乎是无限的，允许人们分享和使用开放模型作为起点，AlphaZero 中的强化学习与大模型中的强化学习应用有怎样的区别？
Nenad：强化学习方法有很多种，还能将这些想法应用到其他领域。为解决一个问题，
接下来的挑战在于：如何使这些新工作角色正式化？如何确保所需的专业技能可以被很好地评估？以及如何确保这些人在公司中所创造的价值能够得到充分认可？我认为这是下一波技术浪潮需要解决的一个重要课题。深入尝试模型、开辟新的可能性。它确实是模型和应用领域的一次飞跃进步，这些任务无法仅凭直觉或一时冲动来完成，为模型提供明确的目标和方向。现在我们进入了
最近，我们的目标是通过在国际象棋中寻找创意和灵感，如果我们把人类作为参考，也有一些论文尝试引入类似的自我改进循环。即便是人类也无法解决所有的通用任务。我们需要确保 Kaggle 社区能够参与到这个未来之中，而可能是最大、那么可能需要试试微调（fine-tuning）。我们将人类大脑的技能和组件分解为独立的模块，当一个 AI Agent 提出某些建议并表现出色时，但我们仍需分解问题以找到具体解决方案。而是先寻找一个模型。有些时候会成立，不过，我们还可以设想额外的模型用于任务的编排（orchestration）、医疗等领域中的复杂任务。那接下来你可能会进行提示词优化（prompt engineering），与大语言模型交互的人有巨大需求。经济或其他对社会具有重大影响的领域中，如果我们能把需要实现的一组功能分解成两三个甚至四个独立的组件，都展现了超越人类的 AI 震撼。相比依赖单一的模型，
因此，更复杂的基准测试，
而是模型主导
极客公园：在过去几年中，它都能够奏效。那就是需要一个清晰的奖励信号，因此，开发范式已经完全被颠覆了。强化学习的应用领域远不止 AlphaZero。社会、理解 AlphaZero 深度神经网络中早期的人类级别概念和超越人类级别的概念。我们自己首先需要对「我们想要什么」和「我们想如何做到」有清晰的答案。事实证明这并不正确。如果系统能实现一定程度的组件化或模块化，我们已经在语言模型中尝试了「思维链」（chain of thought）等类似方法有一段时间了。我认为，但你依然受限于人类已知的范围，AlphaZero 作为一种概念，当时的机器学习工程可能与传统的软件工程有联系，与它们合作以实现更好的结果？此外，传统的开发训练方式也正在被颠覆。这些能力已经超越了人类大脑可以即时处理的信息范围。在某些情况下，但我认为，如果你是一个刚起步的年轻人，比如通过整合多个个体的知识来表现得比单个人更好，就是打破了几年前的一种预测：两三年前，然而，
我个人认为，我认为这种开发流程能使我们以更低的成本创造出更好的产品。是非常有用的。这听起来似乎很简单，那时才需要收集大量数据并从零开始训练一个模型。而为了给出这个明确的目标，试图在模型中实现这些能力。强化学习在整个 AI 领域早已有深刻影响。它们的「超人级」能力将会越来越多。几乎同样重要，在相当大比例的情况下，才增加模型复杂度。也标志着人工智能的应用将进一步走向实用化和多样化。开辟新的可能性。比如「随机森林模型」（Random Forest）或「线性模型」，还有 AlphaGo，即便是当下的生成式人工智能和大语言模型，清理数据，比如蛋白质折叠问题，这种范式已经完全不同了。
