全球微头条丨【花师小哲】鉴定网络热门（？）AI（3）——GPT制作马里奥关卡？

来源：哔哩哔哩时间：2023-02-21 16:09:16

又有人拿大语言模型整花活了，这次是GPT帮你生成马里奥关卡。

(资料图)

好吧，虽然用的是GPT-2（毕竟也要考虑微调成本嘛，作者好像就用了一块显卡，很可能硬件条件就那样了），在现在这个阶段，GPT-2的参数量可能都算不上是大模型了（特别是，如果GPT-4真的有一百万亿参数，那真的是降维打击现在的“大模型”了），但论文这样说那就这样吧

1.语言模型制作游戏

有人会说，哎，语言模型怎么生成关卡啊，特别用的还是只有解码器的GPT族，它的输出不都是下一个词吗。

别说，还真的可以，如下是整个项目的关卡生成架构：

可以看到，其实算法生成的是字符串，然后再直接转化为关卡。不得不说，想法挺好的。

这也说明语言模型能做的事情比我们想象的多很多（维特根斯坦狂喜）。

2.生成质量如何

以下是论文中的部分展示：

据说生成的关卡88%都是可以玩的，已经很不错了。不过嘛，由于是大语言模型直接生成关卡的样式，有贴图错误是不可避免的：

毕竟，保留了一部分bug才知道底层模型是GPT。关于MarioGPT的更多演示，我之后可能会出一期视频（来蹭热度（bushi））

3.遗传算法新颖性搜索

为了让生成的关卡具有更强的可玩性，作者还使用了新颖性搜索算法，可以看做是遗传算法的一种改进版本。

这篇专栏之所以出现在鉴定系列中而不是在炼金术系列中，是因为想再提一嘴遗传算法。遗传算法其实之前就有专栏讲过：

【花师小哲】遗传算法PID自整定(2)-遗传算法介绍与自整定思路

不过这里再说明一下。简单来说，遗传算法就是模拟自然界的种群。在自然界中，适应环境的群体更容易存活并获得更多的后代，使得后代更适应环境。于是我们可以定义一个适应性函数，并对当前“种群”进行杂交、变异等操作，最终不断提高种群质量。

但传统的遗传算法存在一定的问题，例如适应度函数是死的、容易陷入局部最优等。就像自然界的种群也有可能演化着演化着就进入死胡同了。

那我们为什么不激进一些呢？自然界的种群不一定总是朝着一个方向演化，有时候开拓新的生态位可能更有优势。于是，我们可以允许一些更“奇怪”的个体出现，这就是新颖性搜索的核心思想。（不一定很准确，毕竟我不是专门搞这方面的，虽然本科确实跟着师兄搞过一段时间）

一般来说，新颖性搜索的速度是比传统遗传算法优秀的。

遗传算法是我非常喜欢的算法，相比于神经网络，遗传算法对我来说是更加有趣的。其实很多传统AI算法都是很巧妙很有趣的，现在都被神经网络这个黑盒给掩盖住了。

4.单向自回归吊打双向模型？

新颖性搜索的框架如下：

可以看到，除了GPT还出现了BERT（BERT的主要目的是使得整个关卡更协调）。不仅是BERT，模型还使用了其他辅助模型，例如BART。

BERT和BART都是双向语言模型。按理说，双向语言模型似乎更加复杂，但GPT的单向、自回归、单纯解码器架构在目前看来似乎吃香的多了，有点讽刺的意味。