取科举制“三元”之意
明朝万历二十七年（1599年），知州沈有严为满足老百姓祈求科举考试金榜题名的美愿，倡建了这座三元塔，取科举制度考试中“三元”之意。这“三元”是指当时科举考试中殿试、会试、乡试的第一名，即状元、会元、解元。但是到了清朝以后，这“三元”又演变成专指殿试中的一名三甲，即状元、榜眼、探花。三元塔自建成后，附近的莘莘学子纷纷前来登塔远望，祈求学业进步、步步高升。
三元塔距今已有四百余年的历史，它的建筑结构独特，为楼阁式穿绕平座砖塔，平面呈八角形，外观九层，内为十七层，塔高约五十八米，塔壁厚3.8米，用青砖建造而成，而塔基则是用红砂岩和花岗岩彻成，塔脚八个方位各有一个石雕托塔力士，神态各异。塔内几何线条精确匀称。
李质（1316—1380），字文彬，号樵云，广东德庆晋康乡（今广东省肇庆市德庆县九市镇）人。
生于元朝，少年好学，及长，精通经史，胆识过人，文武全才。时逢乱世，中原扰攘，岭海多事，遂家居不出。与弟李穆放情于山水之间，以诗酒自娱。江西行省右丞何真聘李质为参军。
元至正十三年（1353年）奸宄乘德庆路农民暴动之机，大肆焚毁官舍民房。李质回德庆募集乡兵2万，维持治安。其时，湖南暴动农民大量南下，地方震惊。
德庆路总管陈文仲及其下属地方官员，共推李质为首，领导防务。李质义不容辞，即领兵进城，修葺城垣，设险据守。
因此民多拥护，德庆路得以安定。至正十五年（1355年）李质受任检佥福建、江西等处，行枢密院事。
以后虽两次升官，但都未离开故土，只是率领地方武装镇守德庆、封川2路，维持地方治安达15年之久，使上至苍梧，下至三山、九江，得以安宁。
明洪武元年（1368年）4月，李质顺应历史潮流，以德庆、封川2路归降，受到朱元璋的赞扬，并授予官职。先后出任奉训大夫中书省断事、都督府断事、中顺大夫刑部侍郎、刑部尚书等职。
洪武八年（1375年）晋升靖江王右相。洪武十三年（1380年）靖江王因罪被废，李质因“善导不得法”被赐死，年64岁。乡人祀之，立尚书坊于附城内（今德城镇），其后人建大宗祠于城皇庙街。
祠内有“开国元勋”巨额牌匾，为翰林学士宋濂手书。李质晚年尤攻于诗，有诗集《樵云集》若干卷，并与其弟李穆、子伯震共成《三李集》，惜未见。