在金坛市区县直街东。王府坐东朝西，原门前的照壁旗杆已毁，门屋亦经改建。前进正厅平面长方形，三间七架梁，梁上有太平天国龙凤彩绘。厅后为二层楼房，亦3间。楼右附属建筑已毁坏。
由于当时太平天国处于战争时期，王府系拆用旧建筑翻盖的。戴王黄呈忠原为李世贤部将，曾转战于浙北、皖南一带。
现纪念馆仿清式砖木结构，四全辽布局，三面环水，景色宜人。正门匾额为书法大师舒同先生所书，一对“狮子滚绣球”昆石各蹲大门左右两侧。
步入门槛，可见一个长方形庭院，对面是纪念堂。段玉裁半身雕像正居堂内，梁上有一镏金横匾：“朴学宗师”，为著名书法家沙孟海题写。侧前后柱上有两副楹联，一由周祖谟行先生书写：“说字解经功超许郑，审音辨韵名震乾嘉”。一由赵朴初先生撰写：”九经陶铸资群彦，一字源流奠万“两侧的陈列室展出了段玉裁的菱，以及后世研究段学的论著。
