杨坚生于公元541年，出生在弘农郡华阴，也就是现在的陕西省华阴市。他是汉太尉杨震的第十四世孙。据史书上记载，杨坚出生是关中高门的弘农杨氏。公元541年，杨忠的妻子吕氏生下了杨坚，据说当时生杨坚的时候紫气充庭，有史籍记载，当时有一个尼姑对吕氏说，杨坚这个人不能与平常的小孩一样抚养，所以尼姑叫杨杰带到了别馆，亲自进行抚养。在幼年时候的杨坚，为人较为深沉，沉默寡言，刚刚进入太学的时候，即使是非常亲密的人，也不敢戏弄杨坚。