D’après Charles Gouyon, les premières pierres furent posées le 23 mai 1583 dans un quadrilatère représenté par les fondations des tours d’une antique forteresse médiévale, sur un replat qui dominait le ruisseau et l’étang de la Rieulle. Même si Habasque voyait dans ce cadre « la situation la plus sauvage et en même temps la plus romantique », le site présentait quelques inconvénients, les eaux stagnantes favorisant les fièvres.
Le destin de la construction hésita longtemps et, à vrai dire, toujours. On estime aujourd’hui que l’édifice n’a jamais été achevé, et que ce qui en subsiste aujourd’hui est un assemblage assez ecclectique. On peut effectivement remarquer que la date de 1583 n’était pas la meilleure pour une entreprise à long terme. Les guerres de la Ligue commençaient. Charles Gouyon et Claude du Chastel préfèrèrent immédiatement la douceur et le relatif isolement du manoir du Val, avant que les combats leur fassent préférer les larges murailles de Tonquédec. De toutes façons la famille avait le choix des résidences, à commencer par le château de Plouër qui avait l’avantage de justifier l’exercice de fief de Saint-Malo-Dinan. […]