จังหวัดลพบุรี (ในสมัยนั้น) แล้วเลือกท่อนดี ๆ ซึ่งพอจะต่อเป็นองค์เดียวกันได้ไปไว้ ณ พิพิธภัณฑสถานแห่งชาติพระนครฯ สมเด็จกรมพระยาดำรงราชานุภาพ จึงทรงให้ช่างต่อแกนเหล็ก และทำไม้ต่อท่อนแขนที่หักหายไป คงได้รูปพระโพธิ์สัตว์ โลเกศวร 2 องค์ ตั้งไว้ที่พิธภัณฑสถานแห่งชาติรูปพระโพธิ์ สัตว์นี้เป็นฝีมือช่างสมัยลพบุรี

 

ต่อมาใน พ.ศ. 2483 ผู้ว่าราชการจังหวัดลพบุรีได้ขอรูปนี้ไปประดิษฐานไว้ ณ ที่เดิม ซึ่งหลังจากนั้นมาสภาพของถ้ำคูหาสวรรค์ได้เปลี่ยนแปลงไปอย่างมาก เนื่องจากมีการก่อตั้งวัดขึ้นในบริเวณนี้ ปัจจุบันรูปพระโพธิ์สัตว์ ได้ถูกต่อแขนขาให้ใหม่อีก และทางวัดยังได้นำพระพุทธรูปและเทวรูปที่แตกหักเ ป็นชิ้น ๆ ผนึกติดกับผนังถ้ำ แล้วทาสีทับส่วนกลางถ้ำสร้างมณฑปเล็ก ๆ ตั้งพระพุทธรูปทรงเครื่องไว้ ภายในพื้นถ้ำโบกปูนลงหินขัด ลักษณะทางสถาปัตยกรรมและศิลปกรรม ตัวยักษ์(เทวรูปเก่า)บริเวณทางเข้าถ้ำ ชิ้นส่วนพระพุทธรูปและเทวรูปใช้ปูนปั้นต่อเติมผนึกกับผนังถ้ำ กลางถ้ำมีมณฑปเล็กๆ ตั้งพระพุทธรูปทรงเครื่องไว้ ปัจจุบันตั้งแสดง ณ พิพิธภัณฑสถานแห่งชาติ

 

สภาพปัจจุบัน ทางวัดได้ทำการเปลี่ยนแปลงต่อเติมโบราณสถานใหม่และรูปพระโพธิ์สัตว์ก็ได้เปลี่ยนแปลงต่อเติมเป็นตัวยักษ์ตั้งอยู่บริเวณทางเข้าถ้ำ