阿贵庙位于蹬口县沙金套海苏木境内的狼山山脉中，座落在汉代古城鸡鹿塞西边的沟内，是内蒙古地区红教的唯一寺庙。阿贵庙建于清德宗光绪三年（1877年），藏名为“拉西任布.嘎定林阿贵”，清朝改为“宗乘寺”，并于民国元年（19l2年）悬刻有满、蒙、藏、汉四种文字的大匾一块。
阿贵庙是典型的藏式建筑。共建有大雄宝殿及陪殿等981间，并建有招待所13处，住所千余间，南大殿门上镶有“宗乘寺”匾额。殿内供奉释迹牟尼像。陪殿内供有红教派本尊达不仁和生象。
阿贵庙依山临隔水而建。山上青蛮迭翠，清溪泻玉；寺前清流缘漪，碧波荡漾；周围山花缤纷，芳香醉人，绿树成荫，百鸟和鸣，一派天然风水宝地。多年来，它以其宏伟壮丽的建筑，美好的传说和仙境般的自然地理环境，吸引了无数宗教僧侣、游人和考古学者。粉碎“四人帮”后，人民政府虽拔款修复，然而远非昔日之貌。
阿贵庙周围还有不少附属建设物：五个奇特的天然岩洞阿贵洞、扎嘎生布窑、达日额柯窑、额尔登珠窑和桑布嘎日布窑均成为做佛事的地方。
阿贵为蒙古语，意为“山洞”。在阿贵庙四周的山崖峭壁上有5个天然岩洞，为阿贵洞、胜乐金刚洞、公主洞、水帘洞、神洞，有“一奇、二幽、三高、四险”的佳境。附近有一眼“神泉”，饮用、洗浴价值极高。山前冲积扇生长着柠条、霸王、梭梭等沙生植物，被自治区列为天然林保护区。沿山脚一线还连绵分布着著名的阴山岩画群、秦长城、汉古墓、鸡鹿塞、洪羊洞、仙女池等名胜古迹。
明、清以来，巴彦淖尔地区共修建宗教庙堂163座，这些宗教庙堂遍布境内，历史悠久，香火绵延，是灿烂的河套文化中浓墨重彩的一笔。
阿贵庙是西部地区最大的红教寺庙，是印度僧莲花生，于清德宗光绪三年所建。阿贵的意思为山洞，因为此处奇洞攀岩，故得名阿贵庙。
在主殿周围的悬崖峭壁上，有5座奇特的天然岩洞:莲花生洞、上乐金刚洞、护法神洞、仙女洞、洪羊洞，每座岩洞都流传着神奇动人的传说。这其中，莲花生洞供主神莲花生塑像，喇嘛们设坛、供奉、诵咒灌顶就在这里举行。洞门右侧有一巨大的钟乳石柱，堪称镇洞之宝。洞门外的一块巨石上留有一枚脚印，传说是莲花生驱魔降妖时留下的。
