MCTS with Information Sharing

Abstract

Představíme naši výkonnou implementaci algoritmu Monte Carlo stromového vyhledávání (MCTS) pro hraní deskové hry Go: Pachi. Program je založeno na dříve publikovaných algoritmech i našich původních vylepšeních. Následně se zaměříme na zlepšování efektivity prohledávání pomocí sběru informací týkajících se taktických situací a obecného stavu hry z jednotlivých Monte Carlo simulací a jejich sdílení v rámci herního stromu. Navrhneme konkrétní metody takového sdílení --- dynamické komi, měření kritičnosti tahů a mapy svobod --- a předvedeme jejich pozitivní účinek na základě naměřené výkonnosti vůči jiným programům. Na závěr načrtneme několik zajímavých navazujících témat souvisejích s naším výzkumem.

We introduce our competitive implementation of a Monte Carlo Tree Search (MCTS) algorithm for the board game of Go: Pachi. The software is based both on previously published methods and our original improvements. We then focus on improving the tree search performance by collecting information regarding tactical situations and game status from the Monte Carlo simulations and sharing it with and within the game tree. We propose specific methods of such sharing --- dynamic komi, criticality-based biasing, and liberty maps --- and demonstrate their positive effect. based on collected play-testing measurements. We also outline some promising future research directions related to our work.