少林寺始建于公元495年。当时，天竺僧人佛陀到达中国，擅长禅法，得到北魏孝文帝礼遇，并且在公元495年为他敕造寺庙于少皇山中，供给衣食。因寺处于少皇山茂密丛林中，所以名为少林寺。
公元527年，禅宗初祖菩提达摩一苇渡江，来到少林寺中传授佛法。传说他曾于寺内面壁九年，后传法给慧可。此后，少林禅法师承不绝，传播海内外。达摩长期打坐修炼，为活动筋骨，创造了后世广为流传的少林拳法。
公元574年，武帝禁佛，寺宇被毁坏，大象年间重建，改名为陟岵寺。隋代又恢复旧名，日渐发展为北方一大禅寺。
