太鼓櫓は当時は大手門の隣にあったが、明治初頭に現在の場所に移された。建築は陣屋が作られた正徳四年(1714)頃と思われる。

太鼓によって時を告げたり、火事・山火事・出水などの緊急事態を伝えるなどの役割を果たした。藩主が江戸から帰った際にも太鼓は鳴らされた。

最上部には「つつじ太鼓」と呼ばれる太鼓が吊るされている。この太鼓は大和松山藩時代の寛文八年(1668)に作られ、織田信休が柏原へ転封された際に持ってきたものである。

太鼓には革の張替の記録が残っており、大和松山藩時代に5回、柏原藩時代に12回、明治以降に5回張り替えられている。