Пещера Гуян была сооружена самой первой. В ней установлены три внушительные статуи Будды. В самом центре пещеры помещена статуя Будды высотой 6,12 м, которую отличает от всех других скульптурных изображений Лунмэньского комплекса изящество формы и своеобразие внешности Будды. По мнению ученых, статуя, наверняка, создавалась по образу самого правителя династии Северная Вэй -- императора Сяовэня.

Стены пещеры украшены искусно выполненными барельефами, основанными на буддийских сюжетах о жизни Синддхарты Гаутамы с момента его рождения до достижения им нирваны и превращения в Будду. По технике исполнения эти барельефы считаются вершиной искусства ваяния периода Северная Вэй.

За пещерой Гуян последовала пещера Биньян, сооружение которой началось в 500 г. и продолжалось 24 года. Из-за дворцового переворота, произошедшего в последние годы правления династии Северная Вэй, из первоначально намеченных трех пещер удалось завершить сооружение только одной центральной. Остальные две были вырыты уже при последующих династиях. Центральная пещера, изобилующая прекрасными статуями, стала сакральным местом, где буддийские монахи постигали учение буддизма.