Grad Prem sodi med starejše gradove na Slovenskem. Prvič se v uradnih virih posredno omenja že leta 1213, sama stavba pa datira v 12. stoletje. Po legendi naj bi grad Prem nastal na mestu stare rimske utrdbe, vendar pa do sedaj niso bili odkriti arheološki ostanki, ki bi to legendo potrdili ali ovrgli.
Prvi lastniki gradu so bili Devinski gospodje. Plemič Udo de Prem je bil eden najmočnejših vazalov Oglejskega patriarha in si je pridobil veliko posestev na Krasu ter severnem Kvarnerju. Družina Devinskih je leta 1399 izumrla, posestva v njihovi lasti pa so prešla v upravljanje družine Walsee. S povečevanjem vpliva in moči Habsburžanov v 15. stoletju, so bili Walseejci prisiljeni prodati svoja najpomembnejša posestva Devin, Štivan, Senožeče in Prem.
V nadaljnjih stoletjih se je na gradu zvrstilo večje število lastnikov, med katerimi je bila najpomembnejša rodbina Porcia iz Furlanije. Grad je bil v njihovi lasti do začetka 20. stoletja. Leta 1927 ga je kot razvalino kupil tržaški zdravnik Bruno Zucculini in si na gradu uredil poletno rezidenco. Danes je grad obnovljen v slogu, ki ga je vanj vnesel zadnji lastnik, obiskovalci pa si lahko v notranjosti ogledajo grajske prostore z različnimi muzejskimi zbirkami.