Als der letzte Gutsherr von Sangaste Graf F.G.M von Berg (1845-1939) nach dem Tode seines Vaters die Führung im Gut übernommen hatte, hat man noch im Herrenhaus aus dem 18. Jahrhundert gewohnt, das etwa hundert Meter östlich vom jetzigen Schloss gelegen hat. Der junge Berg hat beschlossen, ein neues Gutshaus zu bauen. Als Vorbild haben Schlösser, die er in England gesehen hat, gedient. Berg hat auch Königsschlösser in Windsor und Balmoral besucht. Seine Ideen hat der Talliner Architekt Otto Pius Hippius (1826-1883) verwirklicht. Berg hat sich ein richtiges Schloss mit geräumigen Zimmern gewünscht und es hätten Fenster aller Räume unterschiedlich sein sollen. (Und so ist es auch gekommen, muss man feststellen, wenn man sich die Fenster des Schlosses anschaut.) Bauarbeiten haben vom 1874 bis 1881 gedauert. Ursprünglich gab es 99 Räume im Schloss, weil 100 Zimmer und mehr war das Vorrecht nur des Zaren.  Nach unterschiedlichsten Umbauungen in den Zeiten, wo im Schloss während der Sowjetzeit ein Pionierlager untergebracht war, gab es volle 149 Räume (incl. Nebenräume).

Der Haupteingang des Schlosses ist betont durch einen Tor Turm (selbstverständlich ohne Hängegitter, Hängebrücke und Wallgraben), darunter auf Bogensäulen gestützter Schirmhof. Mit einem solchen Bau ist ein akustischer Effekt erzielt – was in einer Ecke geflüstert wird, ist der quer gegenüberliegenden Ecke gut zu hören.