1127年,金兵攻破北宋都城开封,掳走了徽宗和钦宗两个皇帝。昏庸无能的高宗赵构仓皇南逃,建都临安(今杭州),史称南宋。1129年,金兵再度进犯,赵构又从杭州经绍兴、宁波,一直退到东海,第二年才回到绍兴,并在这里做了一年零八个月的皇帝。这年4月,随高宗南渡的北宋哲宗皇后孟氏死了,由于北方的祖宗陵园已经陷落,只好就近择地浅埋,准备将来收复失地后迁回祖陵。宋高宗绍兴十二年(1142)八月,又将金人归还的宋徽宗及其皇后郑氏以及高宗皇后邢氏的棺木葬于孟后的西北处,称徽宗攒宫为永祐陵,郑皇后和邢皇后祔此。绍兴二十九年(1159)九月,韦太后去世,建攒宫在永祐陵之西。此后,南宋皇帝和皇后死了,也就陆续葬在绍兴。
元朝至元二十二年八月,江南释教头领杨琏真伽公然盗掘绍兴郊外的南宋皇陵。当时杨琏真伽和僧允泽率领部众蜂拥到陵前,陵使竭力抗争,不让他们开陵。允泽拔刀相逼,陵使无奈大哭而去。他们撬开墓室,抛弃皇帝的遗骸,盗走墓中随葬的各种珍宝。由于宋理宗赵昀的永穆陵中“所藏尤多”,毁坏的程度最为惨烈。据传宋理宗的尸体当时保存完好,珠光宝气缭绕其身,棺底铺有织锦,锦下承以金丝编织的网罩。杨琏真伽认为理宗的尸体上一定有宝贝,就把理宗的尸体倒挂在树上,结果淋出很多水银,尸体不腐大概和用水银浸泡有很大的关系。理宗的尸体就这样被倒挂了三天,头却不翼而飞了。原来,杨琏真伽是番僧,他认为用帝王的头骨做成法器,可以起到厌胜的作用,因此,他就把理宗的头割下来,取骷髅做法器去了。据《宋史》记载,杨琏真伽共挖掘了大大小小墓冢100多个,变卖得到赃款116200锭,购买了土地22000千亩,此外有金银、珠玉、宝器等很多东西。清代《历代陵寝备考》引明代《辍耕录》,说他发掘徽宗陵时,得到了马乌玉笔箱、铜凉拨锈管,高宗陵得到了珍珠戏马鞍,光宗陵得到了交加白齿梳、香骨案,理宗陵得到了伏虎枕、穿云琴、金猫睛,度宗陵得到了玉色藤丝盘、鱼影琼扇柄。
杨琏真伽盗发南宋六陵和徽宗的永祐陵后,将各位帝后曝尸荒野,其后,又捡出帝后的骨骼遗骸,混杂在牛马的骨骼里。为了达到分裂民族的罪恶目的,杨琏真伽还打算将六陵遗骸埋到杭州南宋皇宫内,并在上面建造白色的镇南塔,表示让宋人永世不得翻身。南宋有人哭道:“故宫思见旧冬青,一塔如山塞涕零。领访鱼影