Pałac wybudował Bazyli Walicki, wojewoda rawski, uczestnik Sejmu Wielkiego, doradca i przyjaciel Stanisława Augusta Poniatowskiego. Pierwsi właściciele wprowadzili się w 1786 roku. Pałac wybudowany został w stylu klasycystycznym, według projektu Hilarego Szpilowskiego. Początkowo budowla ta połączona była galeriami z czterema okazałymi pawilonami bocznymi. W początkach wieku XIX kolejny znany architekt Fryderyk Lessel dokonał przebudowy, oddzielając pawilony od trzonu głównego, czyniąc tym samym o wiele bardziej delikatny układ przestrzenny.

Pałac odwiedził w dniach 20–22 lipca 1787 roku król Stanisław August Poniatowski, który wracał ze spotkania z Katarzyną Wielką. Serdecznie chwalił i podziwiał dwór postawiony przez jego przyjaciela. Sto lat później w małowiejskim parku został postawiony kamień upamiętniający tę wizytę.

Po śmierci Bazylego majątek w Małej Wsi przejął jego syn, Józef. Ożenił się on z Klementyną z Kozietulskich, siostrą słynnego szwolżera. Sam pułkownik zmarł w Małej Wsi w 1821 roku. Córka Józefa, odziedziczyła majątek po ojcu. Wyszła ona za mąż najpierw za syna emira Rzewuskiego. Później jako wdowa wyszła ponownie za mąż za Zdzisława Zamoyskiego. Maria córka Zdzisława, odziedziczyła majątek w Małej Wsi. Wyszła ona za mąż za Jana Tadeusza Lubomirskiego. Zarówno jej rodzice, jak i jej mąż byli zaangażowano w ruch konspiracyjny.

Jan Tadeusz Lubomirski był członkiem Rządu Narodowego Cywilnego i za zaangażowanie w ruch niepodległościowy został skazany na zesłanie na Syberię. Spędził tam dwa lata i udało mu się wrócić do Małej Wsi dzięki wpływom rodziny Zamoyskich i staraniom jego żony, która wybłagała u cara Aleksandra II zwolnienie Lubomirskiego z zesłania. W Rosji urodził się ich pierwszy syn, Zdzisław. Powrócili oni razem do Małej Wsi w 1866 roku.

Jan Tadeusz Lubomirski skupił się na zarządzaniu majątkiem i opracowywaniem książek historycznych. W samej Małej Wsi zgromadził on wiele cennych tomów będących największym księgozbiorem w okolicy. Zdzisław Lubomirski był równie zaangażowany w działalność na rzecz Polski co jego rodzice. Majątkiem zarządzali Zdzisław Lubomirski wraz ze swoją żoną, Marią z Branickich. Pałac był centrum życia lokalnego, a przez osobistą, wysoką pozycję Zdzisława funkcjonował również jako jedno z centrów odradzającego się państwa. Po wybuchu I wojny światowej i wkroczeniu Niemców do Warszawy, Zdzisław został członkiem Rady Regencyjnej, która była organem władzy zwierzchniej Królestwa Polskiego. 7 października 1918 roku Rada ogłosiła deklarację niepodległości, a następnie 11 listopada 1918 przekazała pełnię władzy Józefowi Piłsudskiemu.

Zaangażowanie Zdzisława w politykę państwa i Warszawy, której był prezydentem odbiło się na stanie majątku w Małej Wsi. Słaby zarząd i hulaszczy tryb życia jej gospodarza doprowadził do znaczącego zadłużenia dworu. Szczęśliwie dla Zdzisława, jego córka Julia wyszła za mąż za arystokratę z Wielkopolski, Tadeusza Morawskiego, który objął zarząd nad zadłużonym majątkiem. Dzięki jego zaradności, zwłaszcza przez rozpoczęcie nowoczesnej uprawy jabłoni, udało się pospłacać długi i odbudować świetność majątku.
Mała Wieś była okazałą siedzibą, domem wielu zasłużonych dla Polski osób, miejscem, gdzie tworzyła się historia naszego kraju. Wciąż czuć tę atmosferę. 

W pierwszym okresie II wojny światowej w Pałacu stacjonowali Niemcy, których obecność nie przeszkodziła właścicielom – rodzinie Morawskich - w konspiracyjnym goszczeniu osób bezdomnych lub prześladowanych. Natomiast po Powstaniu Warszawskim i exodusie Warszawy w pałacu ukrywano wielu Żydów.

Reforma rolna była wyrokiem eksmisji dla ostatnich właścicieli. Po wielu, wielu latach, w 2008 roku Morawskim szczęśliwie udało się odzyskać posiadłość. W międzyczasie Pałac służył krótko jako szkoła, a następnie przez lata jako letnia rezydencja urzędników Rady Ministrów. 

Architektem Pałacu był Hilary Szpilowski, który był bardzo popularnym i cenionym architektem na południowym Mazowszu pod koniec XVIII wieku. Pałac w Małej Wsi został wybudowany w stylu klasycystycznym na planie prostokąta. 

Pierwsze piętro Pałacu obejmowało pomieszczenia dzienne, gabinety oraz bibliotekę.Górne piętro Pałacu składa się z ośmiu pomieszczeń, z których każde wyróżnia się oryginalnymi freskami.

Pierwszym pomieszczeniem jest Sala Mędrców – dawne pomieszczenie biblioteczne, gdzie na przebywających spoglądają ze ścian starożytni filozofowie: Homer, Sokrates, Platon, Arystoteles, Hipokrates i Cyceron.

Sala Mędrców sąsiaduje z Salą Pompejańską, która została udekorowana groteskowymi freskami. Jest jednym z czterech pomieszczeń na Mazowszu z tego rodzaju malowidłami. Kompozycje składają się z hybryd kwiatowych oraz ludzkich, a także motywów z mitologii greckiej. Początkowo pomieszczenie wykorzystywane było jako gabinet, a następnie było pokojem dziecięcym.

Z Salą Pompejańską przez ścianę sąsiaduje jadalna – Sala Warszawska. Duże pomieszczenie, które niegdyś służyło jako miejsce największych uroczystości, m.in. wizyty króla Stanisława Augusta Poniatowskiego. Bazyli Walicki zasłużył się dla miasta Warszawy, był członkiem Komisji Dobrego Porządku, stąd też zażyczył sobie, aby na ścianie głównej sali recepcyjnej Pałacu znajdowała się panorama Warszawy widzianej z praskiego brzegu. Malarz panoramy inspirował się malowidłami Canaletto. Dodatkowo w Sali Warszawskiej znajduje się panorama Neapolu z dymiącym Wezuwiuszem.

Pozostałe pomieszczenia to Salon Złoty, Salon Szary, Apartament Książęcy oraz Łazienka Pałacowa, które również wyróżniają się wieloma elementami wizualnymi.

Ogród przy Pałacu w Małej Wsi składał się z trzech części: ogrodu francuskiego położonego na osi Pałacu, ogrodu angielskiego oraz ogrodu owocowego, w którym zostały posadzone pierwsze jabłonki na ziemi grójeckiej, dziś stanowiący główny element krajobrazu okolicy.

Ogród francuski składał się z klombu przed Pałacem oraz szpalerów, gabinetów, boskietów i alejek za Pałacem.

Część angielska składa się z wielkiego stawu, na którym znajdują się dwie wysepki oraz elementów budowlanych jak wjazdowa Biała Brama prowadząca do Belska czy rodzinne Mauzoleum, zbudowane przez Józefę Walicką, córkę Józefa Walickiego i Klementyny z Kozietulskich, która chciała stworzyć miejsce wspomnienia dla zmarłych w czasie epidemii cholery w Krakowie w 1831 swojego brata, Aleksandra i męża, Stanisława Rzewuskiego.

Pałac w Małej Wsi był plenerem wielu filmów. Już przed wojną kręcono tu początkowe sceny słynnej komedii Ada! To nie wypada!, natomiast po wojnie sceny z Pałacem w tle można było obejrzeć w filmach Widziadło, Pułkownik Kwiatkowski, Trędowata oraz Nad Niemnem.