丰子恺（1898－1975）诞生于浙江省石门镇（当时属崇德县，现属桐乡市）。1914年在当地高等小学校毕业后，就读于杭州的浙江省立第一师范学校。在该校的图画音乐老师李叔同先生的指引下，丰子恺走上了专攻艺术的道路。师范毕业后，于1921年去日本学习了10个月，回国来先后任教于上海专科师范学校、浙江上虞春晖中学、上海立达学园。

立达学园位于上海北郊江湾镇，丰子恺家当时住在永义里9号的校舍里。1927年农历9月26日，丰子恺虚龄30岁生日的那天，李叔同先生（已于1918年出家）即弘一大师正在丰家作客。恩师对他的教育，不仅限于音乐美术方面，在佛教上也给予他很深的影响。他决定拜弘一大师为师，皈依三宝，作一名在家居士。于是，在楼下钢琴边释迦牟尼像前举行了皈依仪式，弘一大师给他取法名婴行。

就在这一回，丰子恺请求弘一大师为他永义里的这所校舍取个宅名。弘一大师叫丰子恺在好几张小方纸上写上自己喜爱而又可以互相搭配的字，把小方纸团成小纸球，撒在释迦牟尼画像前的供桌上。先后拿两次阄，拆开来都是“缘”字，于是就将永义里的寓所命名为“缘缘堂”。请弘一大师写了一幅横额，交九华堂装裱后挂在永义里的寓所中，这是缘缘堂“灵”的存在的开始。1930年迁嘉兴，1932年迁上海，缘缘堂一直随着堂主人丰子恺，形影不离。他所写的随笔也往往自名为“缘缘堂随笔”。1931年，上海开明书店出版了丰子恺的第一本随笔集，就取名为《缘缘堂随笔》。其实那时的缘缘堂还是“游击式”的。

直到1932－1933年，丰子恺已出版了20多本书，手里有了一点钱。为了实践母亲在世时自己对她许下的诺言，便在故乡——浙江省石门镇（又称石门湾）木场桥堍的梅纱弄里造了一所房子。这才是现今一般人所指的缘缘堂。

说起梅纱弄，其实明清时本名绵纱弄，明末清初，因弄北有5家打铁店常将煤渣倾倒弄内，此弄渐被改称为煤沙弄。1928年，路牌亦标此名。但丰子恺嫌其不雅，擅自在自己的信封上印上“浙江省石门湾梅纱弄八号缘缘堂丰宅缄”。1983年，石门镇恢复用绵纱弄这名称。

这所缘缘堂是完全按照丰子恺自己的构思建造的：采用中国式的结构，取其坚固坦白；形式用近世风，取其单纯明快。全体正直，高大，轩敞，明爽，具有朴素深沉之美。

这缘缘堂位在丰子恺的世代祖居忄享德堂和丰同裕染坊（通称老屋）后面，和忄享德堂隔一条梅纱弄。由于梅纱弄是南北向的，所以缘缘堂通向梅纱弄的大门是向东开的。本来，走进大门，就应该是屋前院子的侧面，但梅纱弄和缘缘堂北面的大井头这两条路所形成的角度大于90度。造房子的工人为了占足地皮，竟把房子造成南边宽北边窄。砖墙都已砌好并已粉上了白色，窗框也已做好，就差配玻璃涂漆了。可是丰子恺得知后，坚决要求拆掉重来。他说：“我不能传一幢歪房子给子孙！”由于是砖木结构，可以搬动，只要花钱雇许多人来把框架抬正，把砖墙推倒重来就行了。但毕竟是大动干戈，所以此事在镇上一时传为美谈。

1937年11月6日，石门镇遭日寇轰炸，迫使丰子恺一家连夜逃到离镇五、六华里的南圣浜（亦作南深浜）。丰子恺的胞妹雪珍自幼在这里的蒋家当童养媳，后来嫁给蒋茂春。得知石门被炸，蒋茂春马上划船出来，把大舅子一家接到了南圣浜，安排住在族人蒋金康家空着的新屋里。11月15日，丰子恺还带了长女陈宝到缘缘堂去取过一次东西。从此，主人就和缘缘堂永诀了。

11月21日，闻说石门已架起机枪大炮，桐乡已经开火了，丰子恺一家当天便逃离南圣浜，经杭州，到桐庐小住，后来又经兰溪来到萍乡，在学生萧而化的萧家祠堂空屋内暂住。

1938年2月9日，接早年立达学园同事裘梦痕2月4日从上海发出的明信片，说：“一月初上海新闻报载石门湾缘缘堂已全部焚毁，不知尊处已得悉否……”

闻此消息，家人都很悲伤。丰子恺则先后写下了《还我缘缘堂》（1938年）、《告缘缘堂在天之灵》（1938年）和《辞缘缘堂》（1939年）三文，以抒发自己对故乡怀念和对敌寇愤恨的心情。他在《还我缘缘堂》一文中说：“缘缘堂已被毁了。倘是我军抗战的炮火所毁，我很甘心！堂倘有知，一定也很甘心，料想它被毁时必然毫无恐怖之色和凄惨之声，应是蓦地参天，蓦地成空，让我神圣的抗战军安然通过，向前反攻的。倘是暴敌侵略的炮火所毁，那我很不甘心，堂倘有知，一定更不甘心。料想它被焚时，一定发出喑乌叱咤之声：‘我这里是圣迹所在，麟凤所居。尔等狗彘豺狼胆敢肆行焚毁！亵渎之罪，不容于诛！应着尔等赶速重建，还我旧观，再来伏法！’”

缘缘堂究竟如何被焚，何时所焚，现在都不得确知。但据丰子恺的堂侄女丰桂回忆，丰子恺一家11月21日离开南圣浜后仅两天，缘缘堂就烧掉了。只因当时战乱阻隔，消息传递迟缓，到次年1月才在上海的报纸上登出。如果这一说是正确的话，重建后的缘缘堂墙上的说明文里所说的毁于1938年1月，应作1937年11月。

被焚后，据说缘缘堂的烟囱有一时还未倒下。这在丰子恺于1938年7月所写的《佛无灵》一文中提到过：“我的老姑母……有信来，末了说：缘缘堂虽已全毁，但烟囱尚完好，矗立于瓦砾场中。……”