現在は東西約８０メートル南北約１１０メートルの長方形で周囲に土塁と濠を巡らしたものが残り、伴野氏の居館であったと思われる。また、戦国時代にはこの居館を中心に曲輪を増築されていたと考えられる。