De prijsvraag die was uitgeschreven voor de bouw van PHRM werd gewonnen door architect Zinsmeister. Het plan werd beoordeeld als uitvoerbaar en geroemd om de geschikte indeling van de vertrekken. Zinsmeister mocht ook de bouw leiden en na een eerst mislukte aanbesteding wist hij een aannemer te vinden die het project voor ƒ 94.750,- wilde bouwen. Op 5 juni 1899 werd begonnen met de bouw en op 13 oktober kon burgemeester Reiger de gedenkstenen “PHRM” en “1900” leggen. Net als de overige beeldhouwwerken binnen en aan de gevel was het ontwerp van Joseph Mendes da Costa, met wie Zinsmeister ook had samengewerkt aan de beurs van Berlage. De gele stenen binnen en buiten gaven het gebouw de moderne uitstraling van de Amsterdamsche School architectuur. In 1901 werd het Gele Kasteel in gebruik genomen.