橘寺は聖徳太子が生まれた所で、当時ここには橘の宮という欽明天皇の別宮があった。太子は欽明天皇の第四皇子の橘豊日命（たちばなのとよにのみこと）（用明天皇）と穴穂部間人皇女（あなほべのはしひと）を父母として生まれた。
太子は信仰深い人物で自ら仏典の講義をし勝鬘経（しょうまんきょう）を三日間にわたり講義したという。そのとき大きな蓮の花が庭に降り積もったといわれる。南の山に千の仏頭が現れ光明を放ち。太子の冠から日月星の光が輝くなど不思議な出来事が起こったので推古天皇は驚き、この地に寺を建てるよう太子に命じます。そこで御殿を改造して造られたのが橘樹寺。当時は東西八丁（870ｍ）、南北六丁（650ｍ）の寺地に金堂、講堂、五重塔を始め66棟もの堂舎が建ち並んでいたという。