Pilonova galerija Ajdovščina združuje dve mestni - tipični obrtniški - hiši, prva je Pilonova domačija, kjer je delovala pekarna slikarjevega očeta. Obe fasadi sta ločeno ohranjeni, tako kot tudi notranjost slikarjeve domačije z vsemi detajli, stopnicami, stropovi ipd. Avtor prenove obeh hiš v galerijo in izgradnje prizidka-razstavišča je arh. Svetozar Križaj (1921-1996), ajdovski sosed Pilonovih, ki je za to delo prejel l. 1976 Plečnikovo nagrado. V utemeljitvi je bila poudarjena arhitektova "občutljivost, s katero se je lotil naloge, Pilonovo galerijo odlikujejo preprostost, neposrednost in občutek za mero ter okolje".
Pilonova galerija Ajdovščina je nastala iz umetniške zapuščine, ki jo je sin Vena Pilona po očetovi smrti l. 1970 podaril mestu Ajdovščina. Zbirko so pozneje obogatili z odkupi in darili, prav posebej je potrebno poudariti zbirko olj in grafik dr. Danila Lokarja, ki je bila skoraj v celoti odkupljena, saj je ajdovski zdravnik in pisatelj kot prijatelj in pozorni mecenski zbiralec zbral številna vrhunska dela Vena Pilona ter jih ohranil po slikarjevem odhodu v Pariz. V zapuščini je tudi bogati arhivski fond: dokumenti, rokopisi, korespondenca, knjige in osebni predmeti Vena Pilona, tako da je galerija pomemben vir podatkov za raziskovalce iz ožje umetnostno zgodovinske kot tudi širše kulturno zgodovinske stroke, predvsem za področje Primorske.
Pilonova galerija je bila ustanovljena leta 1973, pred tridesetimi leti pa je bila ob prenovi obeh hiš postavljena Pilonova stalna zbirka v prvem nadstropju. Galerija hrani tudi zbirko del Pilonovih prijateljev in mednarodno zbirko Vipavski Križ. Ob skrbi za zbirke je potrebno omeniti še razstavno dejavnost, ki poteka v pritličju stavbe.