编者按：本文来自微信大众号“HyperAI超神经”（ID:HyperAI），作者：神经小兮，36氪经授权发布。
场景描绘：还记得上一年 8 月微软发布的「雀神AI」Suphx 吗？今日，该研讨团队在 arXiv 上发布了更新版的论文，进一步介绍了 Suphx 背面的技能。
关键词：麻将 AI，Suphx，卷积神经网络
2019 年 8 月 29 日，微软发布了一个名为 Suphx（超级凤凰）的「麻将 AI」，在专业的麻将竞技渠道上，Suphx 的实力胜过了尖端人类选手的均匀水平。
其时一经发布，Suphx便引起了广泛的重视，不仅是人工智能范畴，不少麻将爱好者也都赶来围观评论。（可点击此文回忆《一家胡三家的人工智能来了》）
麻将的信息集数目和信息集均匀巨细
逾越了桥牌、德扑和围棋
人们点评该体系比战胜了工作围棋手的AlphaGo 更杂乱，被誉为「最强日麻人工智能」。
今日，该体系的研制团队在 arXiv 上宣告了论文《Suphx: Mastering Mahjong with Deep Reinforcement Learning》（《Suphx：把握麻将与深度强化学习》），更深一步地讲解了 Suphx 背面的技能。
《Suphx：把握麻将与深度强化学习》
论文地址：https://arxiv.org/pdf/2003.13590.pdf
Suphx 愈战愈勇：已逾越 99.99% 玩家
此前咱们已介绍过，Suphx 体系运用深度强化学习，从 5000 场竞赛中学习、吸取经验之后，在日本专业的麻将竞技渠道「天凤」上打败了很多麻将玩家，获得渠道「特上房」的最高段位十段。
Suphx在天凤渠道的段位，远高于其它麻将 AI
这样一个强悍的麻将 AI，究竟是怎么打造的？来自微软亚洲研讨院、京都大学、中国科学技能大学、清华大学以及南开大学的研讨团队，在最新版的论文中，进行了深化的介绍。
从论文中，咱们也得知，Suphx 在进一步的学习下，水平也更进一步。在具有逾越 35 万位玩家的「天凤」渠道上，被官方评为水平逾越 99.99% 以上玩家，这是计算机程序初次逾越麻将中大大都尖端人类玩家。
五大模型与强化学习，造就雀神 AI
Suphx 包含一系列卷积神经网络，它学习了五种模型来处理不同的场景，包含 discard（丢掉模型）、Riichi 模型、chow 模型、Pong 模型和 Kong 模型。
discard 模型（上）与其它四个模型的架构（下）
在此基础上，Suphx 选用另一种根据规矩的模型，来决议是否宣告赢家并进行下一轮，查看是否赢牌可以从其他玩家丢掉的牌中来判别，或许从排墙上抽出来的牌来判别。
据介绍，Suphx 的练习进程总共分为三步。
首要，它的 5 个模型都运用从「天凤」渠道搜集的尖端人类玩家的日志进行练习。
然后，运用包含一套根据CPU 的麻将模拟器和根据 GPU 的轨道生成推理引擎，经过自我博弈强化学习对体系进行微调。
终究，在在线游戏期间，运用运行时战略调整被用来调查当前轮的成果，然后使体系执行得更好。
Suphx 中的分布式强化学习体系
由于麻将牌局中，对手的信息都是不知道的，因而，Suphx 尝试了先知教练技能来提高强化学习的作用。在自我博弈的练习阶段，运用躲藏信息引导模型练习方向 ，然后增强 AI 模型对可见信息的了解，并找到有用的决策依据。
评价 ：5760 场比赛，发明十段纪录
在试验之前，团队在 44 个 GPU (包含4个 Nvidia Titan XPs 用于参数服务器，40 个 K80s 用于自我博弈玩家)上，运用 150 万次牌局，对每个模型进行了为期两天的练习。
该团队对 20 个 Nvidia Tesla K80 GPU 上的 Suphx 进行了评价。为了减小安稳排名的方差，他们从 100 多万场的麻将牌局数据会集，随机抽取了 80 万牌局的数据，并从中进行了 1000 次取样。
评价成果为，在「天凤」渠道与人类玩家进行了逾越 5760 场竞赛后，Suphx 发明了十段的纪录——大约只要 180 个玩家从前达到过这个水平。而 Suphx 安稳的排名是 8.74 段(人类玩家最高水平是 7.4 段)。
强化学习 agent终究安稳排名计算
在不断优化中，RL-2 终究获得更好的体现
风趣的是，研讨人员写道，Suphx 的防卫「十分强」，放胡的概率很低，只要 10.06%，并且它开发了自己的游戏风格，可以确保牌的安全，并以半平手制胜。
AI 玩家（南边）会挑选保存打法
抛弃篮筐内的六筒，由于牌桌上已有该牌
此外，论文的合著者写道，大大都实际国际的问题，如金融市场猜测和物流优化与麻将有相同的特色。比方杂乱的操作/奖赏规矩、非完美信息问题等等。
作者信任，在 Suphx 中规划的麻将技能，包含大局奖赏猜测、先知引导以及方针调整等，都有巨大的潜力，将来可大规模的应用于实际国际，协助处理实在而杂乱的实际问题。
看到这儿，你也摩拳擦掌了吗？天凤麻将对战渠道：https://tenhou.net/，一起来一局呀！
