北宋末年，北方女真族建立的金国逐渐南侵，一直打到京城，把宋徽宗和宋钦宗两位皇帝也给抓去了，年轻的小康王匆匆继承皇位，称宋高宗皇帝，改国号为建炎。

　　建炎三年(1129)，金兵再次大举南侵，宋高宗仓皇逃到杭州。同年九月，金国三太子金兀术率兵渡过长江，追向杭州，宋高宗带领文武百官，带着大量财物再次向南逃跑。经过越州(绍兴)，逃到明州(宁波)，金兵一路穷追。若再从陆路南逃，山路崎岖，终将被金兵追杀，于是就改走海路，想从海路去台州的章安避难。十二月十九日，宋高宗从明州定海(宁波镇海)逃到昌国(舟山)，可只停留了几天，金兵又追到了舟山。宋高宗船队只好又离开舟山本岛往东北方向行驶，想远离大陆，甩掉追兵。因金兵是北方内陆人，怕海上风浪，不习惯坐船，就没有再追赶。

　　宋高宗一行二十多条船乘风破浪来到衢山，在衢山南面的泥螺山港湾靠岸。这时已是建炎四年了，皇帝和大臣们在海上度过了大年三十。他们庆幸甩掉了金兵，又逢新年，于是宋高宗下令就地筑坛，在泥螺山上公祭东海龙王。这是封建王朝最早在舟山群岛公祭海龙王，只是处于逃难时期，排场并不大。之后，皇帝暂住进了当时衢山最好的房子：位于石柱湾、茶园间的“空王寺”。空王寺原名“香兰院”，建于周显德七年(960)。“空王”在佛意中有“亲征空性，寂静无碍”的意思，可当时皇帝正在逃难，理解“空王”有“空虚王位”的意思，觉得不吉利，于是就给寺院新赐一匾额，名为“华云寺”，意在希望从此能交上华盖运，时来运转，前程美好。“华云寺”是当时舟山与梅岑山(普陀山)的宝陀寺(现普济寺)齐名的两大寺院之一，这显然与皇帝驻跸过及钦赐匾额有关。

　　宋高宗离开衢山后又到了洋山。金兵追不上宋高宗，就在浙东抢劫一番后，渡过长江北去了，经过黄天荡时，被宋将韩世忠打得一败涂地，从此金兵再也没有渡江南下。宋高宗这才得以回到杭州，把南宋朝廷安顿下来，并于次年改国号为绍兴元年。

　　宋高宗逃难到舟山，还有几则有趣的小故事，虽有点离奇，但一直流传至今。

　　一、芋艿大下饭芋艿是舟山人的大下饭，这是舟山各岛的共同习俗。民间婚丧喜事办酒宴，都有盐烤毛芋艿这道菜，而且要出两次，吃了不够可再添，吃剩的还可以包着带回家。吃芋艿时必须要配一碗汤，宴席一共十二道菜，加一汤，叫“汤十三”。

　　据说这一习俗源自宋高宗在舟山吃芋艿的故事。宋高宗逃难到舟山时，一天，看到一农民在地里掏芋艿，皇帝是北方人，没见过，便上前问道：“你在挖啥？”农民用当地方言告诉他：“掏芋艿。”皇帝以为他在说“逃难”，心里有点不高兴，后经细问，才知道原来这植物名叫芋艿，既可当菜，又能当饭，皇帝感到很是好奇，便想尝尝。于是农民就把这位不认识的公子哥请到家中，给他做了一桌菜，共十二碗。皇帝别的不吃，只吃芋艿，尝了一口，连连说：“芋艿真香，真好吃！”吃了一碗还要，又给加了一碗，不小心噎着了，就要汤喝，农民又给他做了一碗汤，于是这桌菜就叫“汤十三”。吃完了，临走时还把剩下几个芋艿用绢帕包着带走了。后来农民才知道吃芋艿的公子哥是皇帝。从此，这平时不起眼的芋艿也身价倍增，成了舟山民间酒宴必有的大下饭，宴席上所有吃芋艿的规矩，都是宋高宗那次吃芋艿时留下来的。

　　二、蚜虫不吃芹菜和元菜蚜虫不吃芹菜和元菜，据说也是起源于宋高宗逃难到舟山时发生的故事。

　　宋高宗逃到舟山，金兵也随着追到舟山。有一天，宋高宗单独外出，被金兵发现，他骑着马逃到河边，忽然看见河边有一漂亮姑娘在洗菜，他立刻下马，在马屁股上狠抽了一鞭，那马朝东边山岙飞奔而去了。这时宋高宗跑到姑娘面前，焦急地说：“这位姐姐，求侬救救我，后面有人追来，要害我性命。”姑娘看这情形，马上叫他躺在地上，用一大堆菜盖住了他的身体。金兵赶到后，问姑娘有否看到一个骑马人。姑娘镇定地指向东面，金兵看见远处有匹快马飞奔，就追了上去。金兵走后，宋高宗爬起来，连连感谢那姑娘，并约定将来要娶她为妻。又问姑娘那两种菜的名称，得知是芹菜和元菜后，宋高宗说这两种菜也救了他的性命，以后蚜虫就不要吃它们了。皇帝开了金口，从此蚜虫就不吃芹菜和元菜了，元菜以后就叫君达菜了。

　　三、宋高宗到洋山封三姑庙宋高宗从衢山来到洋山，知道洋山有座隋炀帝庙。据说当年隋炀帝来衢山看望他的忠臣陈稜时，洋山上空显灵，车驾隆隆，侍卫森立，一海商看到后，就出资在洋山给隋炀帝建了这座庙。陈稜生前多次为隋朝征战，隋炀帝在江都被叛军杀死，是陈稜为他发丧，这段君臣关系也被后人称道。

　　按理说皇帝圣驾到此，应该封隋炀帝庙。宋高宗知道隋炀帝客死他乡，自己正在逃难中，封他庙不吉利。但圣驾到处，又不能不封当地名寺庙，这次逃难，在定海(镇海)封了海神庙，在衢山封了华云寺，到洋山也不能不封，于是他封了隋炀帝的正宫和惠妃、顺妃三位为明德夫人，民间合称三姑，于是在小洋山建了三姑庙。小洋山洋面上有一列三块礁，叫三姑礁，小洋山旧名也叫三姑山。