Es tracta de l'edifici civil més important de les Borges Blanques, tant per la seva estructura com per la categoria arquitectònica exterior, d'una simetria de casal nobiliari únic a les Garrigues. La seva raó de ser va estretament lligada al llinatge dels Olivart, família de fort arrelament i tradició secular a les Borges, dotada d'una gran hisenda patrimonial.

Del primitiu edifici, bastit d'estramurs de l'antiga vila closa de les Borges, només en resten les façanes que el conformen. Afectat pels bombardeig a la ciutat els darrers temps de la guerra del 1936-1939, els espais interiors van ser totalment reedificats al ser cedit, el "Palau", a l'Ajuntament de les Borges Blanques per estatge consistorial.

En aquest punt, cal remarcar la característica original tant de les façanes de l'edifici, com de la part de la terrassa superior, amb els seus arcs de suport, com de l'entrada al jardí. És l'únic que resta del vell casalici. Tota la resta és de nova construcció i adaptació.

Una altra referència, encara que és oral i de fàcil constatació, és la mina o pas soterrani d'evasió, oberta des de la zona ajardinada i que tenia sortida als Freginals de sota el Terrall. Aquesta mina refugi ha quedat pràcticament abandonada i desfeta en alguns trams urbans. Independentment d'aquest traçat soterrani, el palau comptava amb l'abastament d'aigua d'una mina o corrent aqüífer abundant, que encara avui és possible detectar en alguna casa veïna del carrer Nou.

Els elements de major interès de l'edifici, són bàsicament el tipus edificatori organitzat en dos patis, les façanes exteriors i del pati de carruatges i les sales nobles de les plantes primera i segona.