龍野藩脇坂家の上屋敷跡にある建造物や庭園をまとめて聚遠亭と呼ぶ。

紅葉の名所として有名。心字池は上から見ると草書体の「心」に見えるため、この名前がある。浮堂は心字池の上に書院造を取り入れた数寄屋造りの茶室。

裏側の灯籠はキリシタン灯籠と言われるが、実際は当時の流行を模倣したものであろう。

現在痛みが激しいため、茶会は新しく立てられた茶室「楽庵」が使用される。楽庵は裏千家15世千宗室が名付け、茶席を設けた。土日に茶会がある。

御涼所は藩主脇坂氏の別邸（奥向の建物）である。部屋の作りが素晴らしい。男子禁制であった。また、床下には「抜け穴」が設けられているが、実際どこまで通じていたのかは不明である。平和な元禄時代には味噌や漬物樽が置かれていたようである。

これら建物の周囲には回遊式または座視式の庭園があり、庭園は全て繋がって一体化している。御涼所の入り口の石階段は女六尺坂と言われ、男子は階段の手前までであり、後は全て奥女中が引き継いでいた。女性の歩幅に合わせたという石が階段の間にある。