関ヶ原の合戦後、京都丹後から転封した細川忠興が大規模な城を小倉の地に築城した。
御下屋敷として造られた書院造建築、宮本武蔵も投宿したという。当時は紫川の水を引き込んだ池泉回遊式庭園で、潮の満ち引きで現れたり沈んだりする橋もある。（写真中ほど右側）