Im 13. Jahrhundert war der Ort im Besitz einer Familie, die man als die Edlen von Baumgarten bezeichnen kann. Sie waren wahrscheinlich deutscher Herkunft. Zwischen 1267 und 1269 wird ein Pouce von Pungarth erwähnt. Er war wahrscheinlich mit Graf Philipp von Pungarth verwandt, der 1327 als königlicher Kommissär eingesetzt war. Jedenfalls stand zu seiner Zeit bereits die Burg von Baumgarten, die 1289 von Herzog Albrecht I. von Österreich um Verlauf der Güssinger Fehde zerstört wurde. Im Verlauf des 14. Jahrhunderts wurden noch mehrere Adelige, die sich nach Baumgarten nannten, erwähnt, etwa 1368 Albert, Sohn des Benedikt von Paugarth und die Brüder Wulfing der Geyer und Mathes von Paumgarten, die Paul I. von Mattersdorf - Forchtenstein je ein Lehen in Zillingdorf und Müllendorf verkauften. Schließlich erwarben auch die Kaniszai Besitzungen in Baumgarten.