《巫师》是否具有沉浸感?《模拟人生》是否是一款角色扮演游戏?
康奈尔大学(Cornell)、Xbox和微软研究院(Microsoft research)的一项新研究表明,世界各地的游戏玩家可能有不同的观点,但这种思想的多样性有助于更好的算法,帮助各地的用户选择合适的游戏。
在超过5000名玩家的帮助下,研究人员发现,基于来自不同国家的玩家标记的大量数据集的预测模型,比来自单一国家的玩家标记的模型提供了更好的个性化游戏推荐。
该团队的研究结果和相应的指南对于寻求更全球适用的数据标签以及更准确的预测人工智能(AI)模型的研究人员和从业者来说,具有广泛的应用范围,而不仅仅是游戏。
“我们表明,事实上,你可以做得一样好,如果不是更好,通过多样化的基础数据,进入预测模型,”艾莉森·科内克说,她是康奈尔大学安·s·鲍尔斯计算与信息科学学院的信息科学助理教授。
Koenecke是“审核推荐系统中人类标注标签的跨文化一致性”的资深作者,该论文于6月在计算机公平、责任和透明度协会(ACM FAccT)会议上发表。
海量数据集为推荐系统背后的预测模型提供信息。该模型的准确性取决于它的基础数据,尤其是对海量数据中每一件物品的正确标记。研究人员和从业者越来越多地求助于众包工作者来为他们做标签,但众包工作者往往是同质化的。
Koenecke说,在这个数据标注阶段,文化偏见可能会潜入其中,并最终扭曲一个旨在服务于全球受众的预测模型。
Koenecke说:“对于算法过程中使用的数据集,仍然需要有人提出一些规则,或者只是一些数据点以某种方式被标记意味着什么的一般想法。”“这就是人类方面的作用,因为在这个过程的某些时候,人类确实必须成为决策者。”
该团队调查了来自世界各地的5174名Xbox玩家,以帮助给游戏命名。他们被要求给自己玩过的游戏贴上“舒适”、“幻想”或“和平主义”等标签,并考虑不同的因素,比如游戏是低复杂度还是高复杂度,或者游戏控制的难度。
有些游戏标签,如“禅”,用于描述和平、平静的游戏,在各个国家都被一致使用;其他的,比如游戏是否具有“重玩性”,则是不一致的。为了解释这些不一致,该团队使用计算方法发现,玩家之间的文化差异以及某些标签的翻译和语言怪癖导致了不同国家之间的标签差异。
然后,研究人员建立了两个模型来预测每个国家的玩家会如何给某款游戏贴上标签——一个是来自全球代表性玩家的调查数据,另一个是来自美国玩家的调查数据。他们发现,与只训练来自美国玩家的标签的模型相比,训练来自全球不同人群的标签的模型对世界各地玩家的预测提高了8%。
Koenecke说:“当训练数据从完全以美国为中心转变为更具全球代表性时,我们看到了每个人的进步,甚至包括来自美国的玩家。”
除了他们的发现之外,研究人员还制定了一个框架,指导其他研究人员和从业者如何审核潜在的数据标签,以检查全球包容性。
Koenecke说:“公司倾向于使用同质的数据标签来做数据标签,如果你试图建立一个全球性的产品,你会遇到问题。”“有了我们的框架,任何学术研究人员或从业者都可以审计他们自己的基础数据,看看他们是否可能通过数据标签或选择遇到代表性问题。”
更多信息:Rock Yuren Pang等人,审核推荐系统中人工注释标签的跨文化一致性,2023 ACM公平,问责制和透明度会议(2023)。引文:玩家帮助突出算法数据(2023年,9月29日)的差异,检索自https://techxplore.com/news/2023-09-gamers-highlight-disparities-algorithm.html,本文受版权保护。除为私人学习或研究目的而进行的任何公平交易外,未经书面许可,不得转载任何部分。内容仅供参考之用。