Ter gelegenheid van zijn tweejarig bestaan richtte de Senatus Veteranorum, binnen het USC, een subvereniging op. Op 26 februari 1816 werd de Utrechtsche Studenten Sociëteit onder de zinspreuk Placet Hic Requiescere Musis geopend. PHRM werd geleid door de ‘Commissie van Bestuur van de Utrechtsche Studenten Sociëteit PHRM’, ook bekend als de Kroegcommissie. Drie senatoren-oprichters werden tevens commissaris. De eerste Commissie van Bestuur werd gevormd door C.A. den Tex, J. op den Hooff, N.C. Kist (na twee dagen afgetreden), S.J. Wiselius, en R. Scheers van Haarencarspel. In eerste instantie kwam men bijeen in een koffiehuis aan de Servetsteeg, later aan het Munsterkerkhof (nu het Domplein) bij Klanck. Diverse andere horecagelegenheden boden onderdak, tot in 1858 een eigen pand gehuurd werd voor de leden van USS PHRM, ook weer aan het Domplein. Toen ook dit te klein werd door de groei van het aantal leden begon men te denken aan de bouw van een eigen sociëteit. 

De prijsvraag die was uitgeschreven voor de bouw van PHRM werd gewonnen door architect Zinsmeister. Het plan werd beoordeeld als uitvoerbaar en geroemd om de geschikte indeling van de vertrekken. Zinsmeister mocht ook de bouw leiden en na een eerst mislukte aanbesteding wist hij een aannemer te vinden die het project voor ƒ 94.750,- wilde bouwen. Op 5 juni 1899 werd begonnen met de bouw en op 13 oktober kon burgemeester Reiger de gedenkstenen “PHRM” en “1900” leggen. Net als de overige beeldhouwwerken binnen en aan de gevel was het ontwerp van Joseph Mendes da Costa, met wie Zinsmeister ook had samengewerkt aan de beurs van Berlage. De gele stenen binnen en buiten gaven het gebouw de moderne uitstraling van de Amsterdamsche School architectuur. In 1901 werd het Gele Kasteel in gebruik genomen. 

In mei 1940 begon Duitsland de oorlog en al vrij snel werd PHRM door de bezettingsmacht gevorderd. PHRM verhuisde met de gehele inventaris naar de Nachtegaalstraat waar het verenigingsleven doorging. In juli 1941 werden toch alle studentenverenigingen verboden, op de UVSV na.  Reünist “vuile” Beekman liquideerde de vereniging en waren studenten aangewezen op hun kamers voor bijeenkomsten. Nadat Utrecht op 6 mei was bevrijd, namen de corpsstudenten op 8 mei hun sociëteit weer in gebruik. Het was een ingetogen periode want op de laatste dag van de Duitse bezetting van Utrecht waren nog vier corpsleden omgekomen bij hun poging Duitse soldaten te ontwapenen en de vereniging was daarom in rouw.

Eind jaren ‘50 en begin jaren ‘60 werd de sociëteit uitgebreid door de achtergevel in de tuin te verleggen. Zo ontstond ook ruimte om een grotere eetzaal in te richten op de eerste verdieping. De Duitse bunker  in de tuin werd opgeruimd.