Situado sobre un altozano en la misma línea de costa, tiene un imponente aspecto defensivo. La conquista hacia el territorio ocupado por los sarracenos y la defensa de posibles ataques piratas fueron las razones de su edificación en este paraje, iniciada como una torre de vigía el S. XI. Sería en el siglo siguiente cuando la situación interna y la alianza matrimonial entre los Claramunt y los Montoliu les llevaron a optar por edificar el castillo. El núcleo original fue una torre de vigía del siglo XI dañada a lo largo de la Guerra dels Segadors.
Su cierre fue ordenado por el rey Pere el Ceremoniós. Se puede seguir el trazado del recinto amurallado, que sería modificado en siglos posteriores.
Hay que destacar la torre cuadrada que queda adosada a la iglesia románica de Santa María, con ábside semicircular y espadaña. Delante del cercado amurallado se encuentra una torre de vigía conocida como la Torre de la Móra, atribuida al maestro de obras Joan Miró, construida como defensa de los frecuentes ataques de corsarios que afectaron a la costa a lo largo del siglo XVI. El pueblo de Tamarit quedó despoblado en el S. XIX a causa del paludismo y buena parte de sus habitantes se trasladaron a la población de Ferrán.
Está en muy buen estado de conservación. Eso ha sido posible gracias a las diversas remodelaciones realizadas por sus últimos propietarios. Actualmente se ha destinado el castillo a la celebración de bodas.
