怀远楼是一座中型的圆形土楼。直径近40米，共有四层。这座楼的外环为穿斗式木结构，外围用夯土墙，上薄下厚，底层墙厚达1.3米。四层的用途是：底层为厨房、杂屋，二层作粮仓，三四层是起居及卧室。环的内侧有廊环通，设有四座楼梯(公用)，分别设在东北、西南、东南、西北四处。环内中心设圆形祖堂。祖堂内有一个半圆形的小天井。祖堂外环墙不开窗。墙外披屋，设各家的猪圈、鸡舍等杂屋。全楼仅有一个大门，位于宅南。底层不对外开窗，二层只开小小的窗洞。顶层在楼梯间位置伸出四个瞭望台作为防卫之用。整个土楼坚实雄伟，像一座大型的堡垒。