Auditing LLM Agents in Werewolf Games

Das Paper untersucht die Bewertung von LLM-Agenten in einem 9-Spieler-Werwolf-Szenario unter strenger Informationsisolation. Es präsentiert ein auditierbares Framework, das den externen Glaubenszustand über versteckte Rollen aufzeichnet und Aktionen mit Glaubensabweichungen als strukturierte Beweise speichert. Die Studie zeigt, dass die aktive-Belief-Option zu besseren Ergebnissen für die „guten“ Spieler führt, ohne jedoch den zugrunde liegenden Mechanismus vollständig aufzuklären. Dieses Framework ermöglicht es, komplexe Agentenverhaltensmuster transparenter und kontrollierbarer zu machen.