El majestuoso castillo de Soutomaior se asemeja poco a la fortaleza militar que hunde sus raíces en el siglo XII. A lo largo de su azarosa historia como centro de poder feudal, escenario de batallas, residencia de verano nobiliaria y hoy monumento público visitable con un Jardín de Excelencia Internacional de la Camelia, ha sufrido varias reconstrucciones y rehabilitaciones hasta conformar su imponente y formidable arquitectura y perfil actuales.
El origen de la fortaleza se remonta al reinado de Alfonso VII, cuando se construyó una estructura militar y defensiva en un lugar estratégico de Soutomaior. De un lado el recinto se sitúa cerca de la costa pero al tiempo protegido de las invasiones marítimas de normandos, turcos o piratas al erigirse sobre rocas, a 119 metros sobre el nivel del mar al fondo de la ría de Vigo. De otro, permitía controlar las comunicaciones de norte a sur, y dominaba el valle del río Verdugo desde su confluencia con el Oitavén hasta la desembocadura.
El parque y sus jardines datan de finales del siglo XIX gracias a la iniciativa de su propietario, el marqués de la Vega de Armijo, que decide transformar el castillo en una casa residencial o de veraneo.
En febrero del año 2012 los jardines de este conjunto arquitectónico se han convertido en el primer jardín de España y séptimo de Europa en ser reconocido como Jardín de Excelencia Internacional por la Sociedad Internacional de la Camelia.