関ヶ原合戦前には当地には山城の後瀬山城があったが、合戦後に京極高次が当地に封じられると、後瀬山城を廃して小浜城を築いた。城は北川・南川に挟まれた中州に位置し、かつ背後を日本海に守られた要衝であった。京極氏の後は酒井氏が封じられ、この時に天守があげられた。時に寛永19年(1641)の事である。
若狭国の戦国大名・武田氏の本拠城。武田氏は越前の朝倉氏によって滅ぼされ、朝倉氏も織田氏によって滅ぼされる。この時若狭を与えられた丹羽長秀が城主となった。関ヶ原合戦後に京極高次が城主となり麓に小浜城を築城し後瀬山城は廃城された。
若狭国東端に築かれた城で、築城は若狭国守護武田家の家臣・粟屋勝久によるものと伝わる。永禄6年(1553)から約十年間、越前の朝倉氏が若狭に侵攻したが、この国吉城で良く食い止めた難攻不落の城である。現在城跡は整備され、山麓の居館跡と山上の山城部分の両方で遺構を見学できる。また山麓には若狭国吉城歴史資料館も建てられている。