洪因寺，也称广济寺下院。在衢山历史上，最早的寺院是公元838年建的东亭寺。比普陀山建寺还早78年，当时为什么会有人在这偏远的衢山岛上建寺，其原因无以查考，据说，唐时鉴真和尚第二次东渡日本，在衢山、嵊泗一带海域遇难，后是由衢山的老百姓给救上的，其所建东亭寺是为纪念鉴真大师海上遇险得救。查考鉴真第二次东渡，当时公元743年，与东亭寺建寺记载相差95年，这种说法是有一定历史依据的。940年，在岛斗建有蓬莱院，1165年，荷兰海盗侵扰普陀山，烧毁寺院，抢掠庙产，寺中有一僧人捧一尊汉白玉观音像乘船外逃，第二天黎明，船飘流到衢山观音山下，那僧人以为是菩萨指点，就捧观音像上山供奉，这是观音山作为宗教圣地的起始，也就是这洪因寺(或称下院)结庐供佛的缘起。这个寺院，位于海拔175米的南面山腰上，倚山朝东，在原茅棚上兴建寺院是清同治10年(1871年)，在民国时期进行过大规模的整修，占地1700平方米，其中有建筑面积1452平方米，正殿七间，为楠木结构，殿高10米，阔21米，进深12米，九架梁，明间抬梁式，三架梁上用两月梁承托脊垂柱，柱底饰吊篮。该寺清时供主佛为阿弥陀佛，1943年从普陀山请来释迦牟尼等三尊大佛，当时倾岛轰动，成千上万人于三日前吃斋念佛，送佛上山，供于下院。后来因这院始供观音玉佛，整个观音山又是以供奉观音为特色的，以后又把这下院主殿改为“圆通殿”，供奉汉白玉观音像。此庵建筑古朴、典雅，是现在衢山岛上的三大古寺庙建筑之一，再加庭院花草繁茂，清净幽雅，是佛教信徒礼佛的理想选择。洪因寺清末的主持和尚，法名广达，因其童颜鹤发，老百姓都尊称其为“白发师傅”，此人操行极好，知识渊博，被当地百姓尊为高僧。当年衢山秀才乐和声曾为其书一堂联：蓬莱峥嵘藏古刹，海山锦秀出高僧，是对其的褒奖。