日本百名城。元亀元年(1570)に金光氏が支配する城を宇喜多直家が奪った。その子・秀家が改修を行い、1597年に完成した。外壁に黒漆が塗られているのが特徴で「烏城」と呼ばれる。天守は1966年に建てられ外見は昔の通り復元された。
下津井城は児島半島先端の瀬戸内海に面する地に築かれた城で宇喜多秀家が築いた。関ヶ原合戦後に小早川秀秋の平岡頼勝が、次いで池田忠継の家老の池田長政が城主となった。寛永十六年に一国一城令により廃城となった。
戦国時代初め(明応年間)に豪族の上野氏が築いたと思われる。上野氏は備中の三村氏を縁戚を組むが、天正三年には毛利氏の攻撃を受け、落城し上野氏は滅亡した。この時の戦いは城主・上野隆徳の妻鶴姫らが敵軍と果敢に戦い散った事で知られる。