GenCtrl——生成模型的形式化可控性工具包
本文提出了一种理论框架，将人机交互视为控制过程，并开发了一种新算法来估算对话场景下生成模型的可控集。该算法提供了基于样本复杂度的形式化误差保证，且无需对分布做假设，适用于任何黑盒非线性控制系统。实证结果表明，模型的可控性极其脆弱且高度依赖实验设置，强调了在尝试控制之前先理解其根本限制的重要性。
Markdown 内容： 随着生成模型的普及，人们对生成过程进行细粒度控制的需求变得至关重要。然而，尽管从提示工程到微调的受控生成方法层出不穷，一个基本问题仍未得到解答：这些模型究竟是否真正可控？在本工作中，我们提供了一个理论框架来正式回答这一问题。我们将人机交互框定为控制过程，并提出了一种新颖的算法，用于在对话场景中估算模型的可控集。值得注意的是，我们提供了关于估计误差的形式化保证，该误差是样本复杂度的函数：我们推导出了关于可控集估计的概率近似正确（PAC）界限，这些界限不依赖于分布，除了输出有界性外不做任何假设，并且适用于任何黑盒非线性控制系统（即任何生成模型）。我们在控制对话过程的不同任务上实证展示了该理论框架，涵盖了语言模型和文生图生成。我们的结果表明，模型的可控性出奇地脆弱，并且高度依赖于实验设置。这凸显了进行严格可控性分析的必要性，将焦点从单纯尝试控制转移到首先理解其根本限制上。 * † 庞培法布拉大学 * ‡ 斯坦福大学 [](https://mlr.cdn-apple.com/media/gif_genctrl2_189d86bd48.gif) [](https://mlr.cdn-apple.com/media/gif_genctrl_inference_eba932c9a3.gif) 相关阅读与更新。 ----------------------------- 神经网络的最新发展推动了数据到文本生成的进步。然而，神经模型缺乏控制生成输出结构的能力在某些现实世界应用中可能成为限制。在本研究中，我们提出了一种新颖的“先规划后生成”（PlanGen）框架，以提高神经数据到文本模型的可控性。我们在两个基准数据集 ToTTo... 上进行了广泛的实验和分析。[阅读更多](https://machinelearning.apple.com/research/data-to-text) 近年来，深度强化学习在解决序列决策的几个重要基准问题上取得了令人印象深刻的进展。许多控制应用使用通用的多层感知机（MLP）作为策略网络的非视觉部分。在本工作中，我们为策略网络表示提出了一种新的神经网络架构，该架构简单而有效。所提出的结构化控制网（SCN）将... [阅读更多](https://machinelearning.apple.com/research/structured-control-nets-for-deep-reinforcement-learning)