永正年間に紀州・熊野水軍の安宅氏が築城したのが始まりと言われる。安宅氏滅亡後は、仙石秀久、脇坂安治、播磨姫路の池田氏、阿波の蜂須賀氏の領地となった。一度廃城となるが寛永8年(1631)に再築され、山麓部に居館などが建てられた。
