《左传》一句“进思尽忠，退思补故”清楚道出了退思园的含意。退思园建于道光绪十一至十三年（1885-1887），是安徽兵备道任兰生遭弹劾解职、回乡后花了10万两银子建造的私家花园。取名退思，就是退而思过之意。

    在这个不到10亩的小舞台内，已集有亭、台、楼、阁、廊、坊、桥、榭、厅、堂、房、轩、琴、棋、书、画等一应俱全，是少数能把宅与园都完整保存的园林景观。

    退思园是横向建造的，有别于传统的园林纵向结构，也许是为了不露富贵的缘故吧。园内西为宅、中为庭、东为园。

    宅：分内外两部分。外宅由门厅、茶厅及正厅组成。内宅东侧有“畹芗楼”，是主人与家眷的起居室。楼与楼之间由双重走廊贯通，东西各设楼梯上落，可免日晒雨淋，民间称之为“走马楼”。

    中庭：走进中庭，眼前景观开扬，古木掩映，清风送爽。庭中有“旱船”建筑，是主人迎接宾客的场所。两侧有“坐村望月楼”、“揽胜阁”、“迎宾居”、“岁寒居”等厅楼，都是会友观景的好地方。

    园：退思园的主体花园跟中庭之间以高墙相隔，中间就是“月洞门”。穿越洞门，便见园内亭台楼阁、廊舫桥榭、厅堂房轩，皆贴水池而建，故退思园又以“贴水园”之称而别于其它江南园林。园内有“水芗榭”，站于其上可欣赏面前重叠的假山，也可俯视池内游鱼，很有情趣。