Kvietiškio dvarą įkūrė Prienų seniūnas grafas Morkus Antanas Butleris, kuris į šią vietovę atvyko, kai 1702 m. švedų armija sudegino Prienų pilį, o 1705 metais Birštono kraštą siaubė ir degino rusų kariai. Legenda ar perpasakoti prisiminimai byloja, kad Prienų seniūnas Jevonio upeliu atkeliavo prie Šešupės ir pradėjo ieškoti vietos dvaro statybai. Dvarui kurti parinkta derlinga žemė šalia jau įsik
ūrusių kaimų (Netičkampis, Trakiškiai, Triobiškiai, Nartas, Degučiai, Kvietiškis), šalia Šešupės, kuri buvo transporto arterija javams, miško medžiagai. Sodybai parinkta graži ir praktiškai naudinga vieta ant Garnupio upelio kranto. Po Morkaus Antano mirties 1744 m., jo pradėtus darbus tęsė žmona Pranciška Butlerienė ir sūnus Mykolas, kuris 1746 m. tapo Prienų seniūnu ir valdė visus dvarus.
1744 m. mirė grafas Morkus Antanas Butleris, dvare ir seniūnijoje liko tvarkytis grafienė Pranciška Ščukaitė-Butlerienė.
1746 m. grafienė Prienų seniūniją perleido valdyti sūnui Mykolui,
o 1769 m. Pranciškai Butlerienei mirus, ir kvietiškio dvarą perėmė sūnus Mykolas Butleris.
1758 m. Butlerienė pasirašė vienuolyno fundacijos aktą, o 1759 m. karalius Augustas III leido atskirti nuo Prienų seniūnijos (Kvietiškio dvaro) 8 margus (apie 6 ha) žemės Marijonų vienuolynui. Čia ir išaugo Marijampolės miestas, kuriam 1792 m. vasario 23 d. Lenkijos karalius Lietuvos Didysis kunigaikštis Stanislovas Augustas Poniatovskis suteikė Magdeburgo savivaldos teisių privilegiją ir herbą.
1782 m. Prienų seniūnija pavesta Lietuvos Didžiosios Kunigaikštystės artilerijos generolui kunigaikščiui Kazimierui Nestorui Sapiegai (1757 - 1798), kuris neturėjo palikuonių.
1807 m. Napoleono dekretu dvaras buvo grąžintas ankstesnių savininkų Sapiegų giminei. Dvarą valdė gamtos tyrinėtojas, politikas, publicistas Aleksandras Antonijus Sapiega (1773-1812), vėliau - jo žmona Ona Zamoiska – Sapiegienė.
1857 m. caro valdžia atėmė iš Sapiegų giminės Prienų seniūniją ir perdavė ją valstybės iždui.
1864 m. caras Kvietiškio dvarą padovanojo iš Livonijos vokiečių dvarininkų kilusiam grafui, generolui Fiodorui Rembertui fon Bergui (1793 – 1874). grafų Bergų giminė dvarą valdė kol 1926 m. dvaras išparceliuotas ir išvaržytas.
1926 m. gegužės 1 d. dvare buvo įkurta Kvietiškio žemesnioji žemės ūkio mokykla, kuri išaugo į dabartinę Marijampolės kolegiją.