飫肥於1588年到明治初期共 280 年間，曾因為是飫肥藩伊東氏的城下町（以城堡為中心的都市）而繁榮一時。直至今日仍保持著古老城下町氛圍，街道上充滿了武士貴族宅邸，讓到訪的人們彷彿穿越時光，回到武士時代。

該地區於1977年被日本政府指定為重要傳統建築物保存地區。