释迦牟尼佛在未出家前，他的父亲为他安排与他的表妹完婚。后生了一个儿子名叫罗睺罗。过着幸福丰裕舒适的生活。传说他还有两个妻子，第二个夫人叫摩奴陀罗，第三个夫人叫瞿多弥。
然而，婚后的生活并没有拴住太子的心。他不断外出郊游，以解心中苦闷。据佛经记载，一天他出游东门，看到一个满头白发的驼背老人，骨瘦如柴，手拄拐杖，步履 蹒跚。人生的“老苦”使太子悲叹不已，于是立即返回宫中。又一天，他出游西门，遇到了一个病人倒卧在污泥之中，痛苦的呻吟声搅得他心神不安。人生的“病苦”使太子悲伤不已，无心游玩。第三次他出游南门，正好见到一群鸟在围啄一具死尸，浓血流溢，恶臭难闻。人生的“死苦”使太子悲痛不已，败兴而归。第四次 出游北门，恰巧遇到了一个婆罗门沙门，身着袈裟，威仪有度，脸上显出一副无牵无挂、悠闲自得的样子。太子立即心生敬意，便上前合掌请教。沙门告诉太子出家修道、了生脱死之理，太子颇觉投机，正想继续往下问，沙门却转眼不见了。这次出游，太子如获至宝，十分高兴地回了宫。太子出游四门彻底改变了他的人生追求，是导致他后来出家修道的重要原因。太子这四次出游，佛教称之为“游四门”
太子游四门归来，数日闭门静思。他深感自己国家夹在大国之间，朝不保夕于 是太子抛弃了荣华富贵、娇妻稚子，出家修行，企图找到精神上的解脱之道。于是在一个深夜里，守卫、家人、宫女们都进入了梦乡，悉达多悄悄起身，潜行出城， 换上了猎人的鹿皮粗衣，开始了自己的人生道路。其实，“游四门”不过是悉达多太子出家动机的象征性说法。太子原本感情细腻、善于思考，很小时就注意到人音 的生、老、病死给人们带来了种种痛苦。特别是母亲在他出生后的第七天就离开了人世，幼小的太子只能在姨母的抚养下长大成人，这种经历无疑会促使他更早地去 思索人生的本质，探求人生的真谛。所以，尽管悉达多自己贵为太子，生活优裕，家庭幸福，但一想到人世间的种种悲苦，这一切的荣华富贵便成了过眼烟云，微不足道。
于是，太子抛弃了荣华富贵、娇妻稚子，出家修行。他独自一人，身无分文，此后50余年中仅有一乞食饭钵和一裹体袈裟而已。他坚定地走入茫茫之夜，踏上了一条极其艰苦的追求真理与解脱之路。这一年他29岁。