据说汉明帝刘庄夜里梦见了一位金神，身高一丈六尺，头前后有明亮的光环，特别耀眼夺目，这位金神在殿庭上飞来飞去。汉明帝醒来，甚感惊奇。第二天他遍问群臣梦者何神？有一位叫傅毅的大臣答道：“臣闻天竺有得道者，号之曰佛，飞行虚空，身有日光，殆将其神也！”于是，汉明帝即派大臣蔡愔、秦景等十八人一行到天竺去取经。蔡愔、秦景一行人跋山涉水，战胜了无数艰险，终于到达天竺。他们在当地学习了语言文学、佛教经典，并邀请天竺僧人摄摩腾和竺法兰来中国传教，他们用白马驮回了佛经和释迦牟尼像。汉明帝下令为天竺僧人建了一座佛院，并为纪念白马驮经而建立白马寺。在洛阳伽蓝记卷四也有记载（大五一·一○一四中）： “白马寺，汉明帝所立也，佛入中国之始。寺在西阳门外三里，御道南。帝梦金神，长丈六，项背日月光明；金神，号曰‘佛’。遣使向西域求之，乃得经像焉。时，白马负经而来，因以为名。”

相传白马寺模仿印度只园精舍而建，寺中有塔，殿内有壁画。唐代时规模宏伟，香火隆盛。明代嘉靖三十四年予以重修，大体上奠定今日白马寺的规模和布局。现有面积约4万平方米。分布在南北中轴线上的主要建筑有天王殿、大佛殿、大雄殿、接引殿、清凉台和毗卢阁等。

白马寺是东汉时最重要的译馆，当时绝大部分佛经都在洛阳翻译。摄摩腾与竺法兰曾在此译出四十二章经，为汉译佛典中最早译出之经。《开元释教录》载三国魏时共有译经和尚四人，除安法贤外，昙柯迦罗、康僧铠、昙无谛等都在寺内译经。如嘉平二年 (250)，当时昙柯迦罗游化洛阳，主张一切行为应遵佛祖，于是洛阳僧众共请译出戒律，昙柯迦罗便译出了《僧只戒心》，这部经书被称为中土戒律之始，后世即以迦罗为律宗的始祖。

白马寺有一神奇现象，即是洛阳八大景之一的“马寺钟声”。据说每当月白风清之夜，更深人静之时，僧人杵击大佛殿内高悬的一口大钟，钟声会响遍方圆十里，经久不绝。更奇妙的是，由于音律相同，只要钟声一响，远在25华里之外的洛阳老城钟楼上的大钟也会应声而和。