股票配资官方我以玩促学? 游戏代码驱动数据合成, 提升多模态大模型通用推理

复旦NLP实验室联合字节跳动智能服务团队的最新研究给出了一个令人意外的发现：游戏不仅是娱乐工具股票配资官方我，更是训练AI推理能力的宝贵资源。

引言

高质量多模态推理数据的极度稀缺，制约了视觉语言模型（VLMs）复杂推理能力的提升。那么，有没有一种低成本又可靠的方法来大规模生成这些数据呢？

复旦与字节的研究团队创新性地提出了一个巧妙的思路：利用游戏代码自动合成视觉推理数据。

图1：GameQA数据集中各游戏类别的代表性游戏：3D重建、七巧板（变体）、数独和推箱子。各游戏展示两个视觉问答示例，包含当前游戏状态图片，相应的问题，以及逐步推理过程和答案。

从游戏代码到推理数据：

Code2Logic的奇思妙想

为什么选择游戏代码？研究团队发现，游戏具有三个独特优势：首先，游戏天然具有明确定义的规则且结果易于验证，确保生成数据的准确性；其次，游戏代码编码了状态转换逻辑，天然包含因果推理链；最后，游戏代码可通过大语言模型（LLM）轻松生成，成本极低。

基于这一洞察，团队提出了Code2Logic方法，借助LLM通过三个核心步骤将游戏代码中的隐式推理转化为显式的多模态推理数据，如图2所示：

第一步：游戏代码构建。通过LLM（如Claude 3.5、GPT 4o）自动生成游戏代码，如仅需一行提示词即可构建完整的“推箱子（Sokoban）”游戏逻辑。

第二步：QA模板设计。从游戏代码中提取各种推理模式，设计相应的任务及其问答模板。

第三步：数据引擎构建。构建自动化程序，重用游戏核心代码（如“move”函数逻辑），批量生成符合模板的问答实例。数据生成过程完全自动化，且推理过程与答案正确性由代码执行保证。

图2：Code2Logic方法流程示意

GameQA：可扩展的多模态推理数据集

利用Code2Logic方法，研究团队构建了GameQA数据集，具有以下核心优势：

大规模且多样。涵盖4大认知能力类别，30个游戏，158个推理任务，14万个问答对，如图1和图3所示。

可扩展和成本极低。数据引擎可用Code2Logic方法低成本构建，代码构建完成后便能无限生成新样本，源源不断地产生数据。

难度设置合理。通过设置代码参数，游戏任务难度可控制为Easy、Medium和Hard三级，同时视觉输入即游戏状态复杂性也有三级的设置。这种细粒度的难度设置便于系统评估模型能力。

图3：GameQA的30个游戏，分为4个认知能力类别。域外游戏不参与模型训练。

表1：GameQA域内和域外游戏的评测结果。在GameQA域内游戏测试集上，理工科本科生的准确率有84.75%，而先进的Claude-3.5-Sonnet只有47.69%，仅为人类准确率的一半，Gemini-2.5-Pro的58.95%也与人类有较大差距。在GameQA上训练可显著提升模型在域内外测试集上的表现。

核心发现：游戏数据驱动的通用能力提升

在游戏数据上训练后的能力提升泛化效果如何？研究中最令人惊喜的发现是：仅使用GameQA进行强化学习训练，在域内测试集上取得显著提升的同时，模型不但在域外游戏上展现出强大泛化能力（表1），而且还在通用视觉语言推理基准上获得了明显提升。

从表2的从评测结果可见，在GameQA上进行GRPO训练后，四个开源多模态模型均在7个通用视觉语言推理基准上获得性能提升，特别是Qwen2.5-VL-7B，取得了最显著的2.33%平均提升。