Juz od czasów wczesnosłowiańskich istniał tu warowny gród . W czasach piastowskich gród grabonoski był ulubionym miejscem przebywania książąt wielkopolskich. Już wtedy u podnóża powstała osada kmiecia, którą w XIV wieku Dobrogost przeniósł z prawa polskiego na czynszowe. Liczyła ona wtedy dwa łany sołtysie i dwadzieścia osiem łanów kmiecich. Folwark szlachecki powstał tu w XV wieku. W 1510 r. we wsi Grabonóg mieszkało tylko 17 kmieci. W czasie najazdu szwedzkiego zamek zajęli Szwedzi. Jak mówi legenda wypędził zeń “Szweda” z pomocą okolicznych chłopów oddział Krzysztofa Żegockiego. W czasie rokoszu lubomirskiego przebywał krótko w Grabonogu król Polski Jan Kazimierz. Zamek był zamieszkiwany do końca XVIII wieku.