この珍しい景色と複雑な歴史を持つ城には、数々の神秘的な伝説が言い伝えられている。

モーリーンの伯爵夫人：

サン・ペラ・ペスカドーに生まれたモーリーンのテレサ(モーリーン伯爵夫人)は、山賊たちのリーダーとして彼らの仲間に入るため、貴族の生活を放棄した。彼女は何度かガリゲラの修道院に連れて行かれたが、カルマンソの城に隠れていた山賊と一緒に帰ってきた。彼女が帰ってきてから、戦いが始まり、１８２６年の夏の夜、彼女はこの戦いに決着をつけた。彼女はたいまつを持って城の地下に行き、フランス人が残した火薬のすべてに火をつけ、城を爆破した、と言われている。

カルマンソの女伯爵：

カルマンソ城に住んでいたモーリーン伯爵は、骨髄だけを食べていた。彼女は骨髄に取り付かれていて、その事が後に彼女をだめにしていった。とてもおなかが減っていたある日、二人の百姓が、彼女に同情して、パンとくるみをあげた。彼女はあまりにもそれが気に入ったので、“もし、パンとクルミがこんなに美味しいものだと知っていたら、今でもカルマンソ城の女伯爵でいられたのに”と叫んだ、と言われている。（→骨髄ばかり食べていたので、お金がなくなり、百姓に恵んでもらわなくてはいけなくなった。もし、パンとくるみもこんなに美味しいと分かっていれば、骨髄ばかり食べずにすんだので、お金もなくならずにいまだにお城に住むことができたのに・・・）

金のヤギ：

これは、あるなにかにとりつかれた女王が、金のヤギをカルマンソ城の土台のどこかに隠したという話。ユダヤ人がカタロニアから立ち去らなくてはいけなかった時、ビーラ・イウダィカ（Vilajuiga）に住んでいたユダヤ人が金のヤギをお城に埋め、それを崇拝していたという説もある。最も知られている説は、お城に住んでいた、とてもお金持ちのモーア王が、この財宝から金のヤギを作らせたというものです。ある日、王様は、クリスチャンの王様に敗北し、城から立ち去らなくてはいけなくなった。使用人の助けを借りて、彼は金のヤギを、ポート・デゥ・ラ・セルヴァ海に繋がっている秘密の廊下を使って、城から出ようとしたが、王様と金のヤギは決して外へ出る行き方を見つけることができなかったと言われている。

謎の聖杯(Holy Grail)：（聖杯は｢最後の晩餐｣のとき用いられた杯で、その行方を探究するという伝説。）

解釈はいろいろありますが、そのうちのひとつは、ヴェルデラという山（カルマンソ城の近く）にその謎が隠されていると言われている。伝説に出てくるサン・サルヴァドール城がモンサルバ城のことで、カルマンソ城が、なんとしてでも聖杯を守る騎士団に入りたかったハンガリーのクリングソール魔法使いの城であると考えられる。（魔法使いが聖杯を守る騎士団に入り込むことによって、聖杯のある場所が分かり、それが盗みやすくなるため。）

Castell de Quermançó