响堂山石窟所起的作用主要是为出家人提供了一个修炼场所，在山上或平原建庙为寺，在山里建庙为窟。寺即是窟，窟也即是寺，因为他们所起的作用都是一样的，只是名称叫法不同而已。建窟可以充分利用天然有利条件，能避免风吹日晒和雨淋，也能节省原材料。

据金正隆四年(1159)《常乐寺重修三世佛殿记碑》载，石窟始凿于崇信佛教的北齐，历史上有几代帝王大力推崇佛教，北齐文宣帝高洋（550～559在位）便是其中之一。当时这里是自邺都(北齐的都成)至晋阳的必经之地，曾建有行宫。高洋“于此山腹见数百圣僧行道，遂开三石室，刻诸尊像”。现存北齐纪年题记，有北响堂的武平三年(572)唐邕写经记和小响堂的武平四年造像及刻《法华经》等残记。

从现存的石窟内佛之雕像与装饰构造便可看到昔日的辉煌。北响堂筑有九窟，南响堂筑有七窟，其中南响堂第 3、7窟，北响堂第2、3窟，在窟前四柱三开间窟廊上方又凿有大型覆钵、山花蕉叶、刹杆及火焰宝珠等，形成了很有特色的塔形窟。窟门两侧雕八角束莲柱，门额饰以精致的宝塔、飞天，门侧壁浅雕肥大忍冬纹，整个外观装饰华丽。“忍冬”是古代的一种富有寓意的纹样,它是一种缠绕植物，俗呼“金银花”、“金银藤”，因它凌冬不凋，故有忍冬之称。所以被大量运用在佛教上，比作人的灵魂不灭、轮回永生。忍冬纹是响堂山主要装饰纹样之一。北响堂寺之“大佛洞”，规模宏大雄伟，雕刻精巧，洞内一尊坐佛高3.5米，大佛端庄浑厚，肌肉丰满，线条柔和，神气秀逸，衣纹密集而富有装饰性，虽经千年风日侵蚀，现仍可窥之原貌。唐代高僧释道宣在 《续高僧传》用“中诸雕刻骇动神鬼”来形容当时雕刻之精美。

南响堂山石窟千佛洞最为华丽, 洞壁佛像鳞次栉比，颇为壮观。窟外整体外观为覆钵塔形。窟前设四柱三开间前廊的仿木结构建筑,其斗拱窟檐以上凿大形覆钵，钵中央雕展翅欲飞的金翅鸟，上雕宝珠，钵两端饰卷云状山花蕉叶，这一保存完整华丽的装饰，十分罕见。窟内进深3.6米，宽3.9米，高3.7米。前壁满雕塑千佛，其它三壁又凿一大龛，内均一佛二弟子两菩萨。壁上部也各雕千佛，下设基坛，窟顶微隆，雕莲花和八尊伎乐天。伎乐天也就是持乐器的飞天，有的手弹竖箜篌，有的口吹竹笙横笛，飞天们随着那幽雅的乐曲、优美的旋律，手舞足蹈，载歌载舞，供养天人双手捧钵敬献仙果，表现了《法华经壁喻品》中的所谓 “诸天伎乐，百千万神，于虚空中，一时俱作，雨众天华”的景象。

响堂山石窟近代遭到严重破坏。南响堂的塔形窟如第1、2、5、7等窟的塔顶部分均已无存，前廊和檐柱等也受到不同程度的破坏。塔形窟中以北响堂第7窟（习称北洞）规模最大，窟方形，每边各长约12米，窟高11.6米，雕刻也最为精美。可惜前廊已残毁，覆钵顶也仅留遗痕，前龛造像高达3.5米，是响堂山石窟中最大的造像，但也已遭到损坏。龛柱顶雕火焰宝珠，柱身棱面上精雕缠枝忍冬图案。龛顶浮雕覆钵形塔顶，顶心承由仰莲、相轮、忍冬和火焰宝珠组成的塔刹。每一小龛就是一座装饰华丽的佛塔，也是这座石窟的一个缩影。可惜龛内造像均在近代被盗凿一空。从现存少数人物遗痕来看，当时的画面是颇为宏伟的。北齐造像虽多残毁，特别是佛像头部大都被盗凿失去，不少雕刻精品散失在海外。但仍能看出此时期的雕塑造型风格。从整体而言，虽然保留了部分雕塑佛像与描绘佛世界的华丽装饰，但大部分石窟所遭到的破坏是非常严重的，已是“今非昔比”了。历史是无情的，不管再美好的东西随着岁月的流逝，也会因人为或自然灾害而渐渐离人们而去。

虽然响堂山石窟昔日难再，但人们对佛的信仰却依然如故，佛经的传播，也没有因为响堂山的败落而停止。旧的寺院残毁，新的庙宇又建成，人有轮回，历史循环，当感叹人生“何枝可依”之时，不妨迈向追寻真理之途，从响堂山的兴衰来看，人们可以想到的是纵然是岁月的沧桑也难掩佛法真理的辉煌。