Минималистское пятиэтажное здание музея с острыми углами, глубокими вырезами-щелями и светоотражающим фасадом — проект японского архитектора Кацуё Сёдзима. Наружные стены облицованы алюминиевыми панелями, которые имеют зеркальную поверхность, что позволяет зданию гармонично сливаться с окружающим городским пейзажем.

В этот современный музей посетитель может войти с любой стороны — архитектура функциональна. А само месторасположение достаточно концептуально — район Рёгоку в Токио, где художник родился и провёл большую часть своей жизни.