ทับหลังนารายณ์บรรทมสินธุ์เดิมอยู่ทางทิศตะวันออกของประสาทพนมรุ้ง จังหวัดบุรีรัมย์ แต่ตกลงมาที่พื้นและแตกออกเป็นสองซีก หลักฐานรูปแรกสุดได้ถ่ายไว้สมัยสมเด็จกรมพระยาดำรงราชานุภาพ เมื่อปี พ.ศ. 2472 อีก 31 ปีต่อมา นายมานิต วัลลิโภดม จากกรมศิลปากรถ่ายรูปไว้เมื่อ พ.ศ. 2503 ต่อมา กรมศิลปากรจึงได้พิมพ์เป็นหนังสือ หลังจากนั้นทับหลังก็หายไป ซึ่งกรมศิลปากรไปติดตามได้คืนมาชิ้นหนึ่ง ปัจจุบันติดอยู่ที่ปราสาทพนมรุ้งแล้ว เมื่อ ศาสตราจารย์ หม่อมเจ้า สุภัทรดิศ ดิศกุล ได้รับเชิญไปบรรยายที่สหรัฐอเมริกา รวมทั้งที่สถาบันชิคาโกด้วยได้พบทับหลังตั้งแสดงอยู่ที่นั่น จึงได้รายงานถึงกรมศิลปากรให้ดำเนินการติดต่อขอคืนในปี พ.ศ. 2519 และเงียบหายไปเป็นเวลากว่า 10 ปี จนกระทั่ง พ.ศ. 2531 จึงมีการติดต่อ และส่งคืนให้ในที่สุด.

คณะโบราณคดี มหาวิทยาลัยศิลปากร ได้พานักศึกษาไปฝึกหัดขุดค้นและขุดแต่งซากโบราณสถานที่เทวสถาน จังหวัดพระนครศรีอยุธยา ตั้งแต่วันที่ 5 พฤศจิกายน - 9 พฤศจิกายน 2512 จากผลการขุดแต่งแล้วนั้นปรากฏว่า มีระยะการก่อสร้าง 3 ครั้งหรือ 3 สมัยด้วยกัน
ครั้งแรกคงสร้างแต่องค์เทวสถานเพียงอย่างเดียว รูปเป็นปรางค์แน่เพราะฐานเดิมปรากฏอยู่เป็นรูปฐานย่อไม้ 20 และย่อเก็จทำเป็นซุ้มมุขทิศ 4 ด้าน ตามที่ปรากฏร่องรอยอยู่นั้นองค์ปรางค์ก่อด้วยอิฐใช้ดินดิบเป็นสื่อเชื่อมแทนปูนสอ ผิวนอกองค์ปรางค์ถือปูน
ระยะที่ 2 ก่อสร้างวิหารต่อด้านหน้าเทวสถานเพิ่มขึ้นอีก ซึ่งมีข้อสังเกตและหลักฐานอยู่ 2 อย่างคือ ลักษณะปูนถือและส่วนผสมปูนถือผนังวิหารต่างชนิดและต่างอายุกันกับปูนถือเทวสถานองค์ปรางค์ และตรงวที่วิหารกับเทวสถานปรางค์มาต่อเชื่อมกัน อิฐแยกออกจากกันอย่างมีระเบียบโดยมีแนวบัวที่ทำสำเร็จฝังอยู่ในผนังวิหารส่วนที่เชื่อมต่อกัน
ระยะที่ 3 ก่อสร้างระเบียงแบบเป็นห้องด้านหน้าและด้านข้างวิหารทั้งสองข้างดังที่ปรากฏแนวผนังเหลืออยู่นั้น ระเบียงคงใช้เป็นที่พักจำพรรษาหรือเป็นที่ประดิษฐานพระพุทธรูปในระยะหลังก็อาจเป็นได้ ตัวอาคารผนังก่ออิฐถือปูน หลังคามุงด้วยกระเบื้องดินเผาเช่นเดียวกันกับพระวิหาร.

เมืองศรีเทพ บางท่านเรียกว่า เมืองอภัยสาลี เดิมตั้งอยู่ในอำเภอวิเชียรบุรี จังหวัดเพชรบูรณ์ แต่ปัจจุบันเปลี่ยนมาตั้งอยู่ในอำเภอศรีเทพแล้ว สมเด็จกรมพระยาดำรงราชานุภาพได้ทรงค้นพบเมืองนี้เมื่อ พ.ศ. 2448 ประติมากรรมศิลาที่ค้นพบส่วนใหญ่เป็นเทวรูปในศาสนาพราหมณ์ มีอายุอยู่ในราวพุทธศตวรรษที่ 12-13 ต่อมาพบศิลาจารึกอีก 2 หลัก แสดงว่าอาณาจักรเจนละหรือขอมรุ่นแรกในขณะนั้นได้แผ่อำนาจเข้ามาถึงยังลุ่มแม่น้ำป่าสักแล้ว โบราณวัตถุซึ่งถูกลักลอบออกไปจากเมืองศรีเทพ 3 ชิ้น และปัจจุบันอยู่ในพิพิธภัณฑ์นอร์ตัน ไซมอน (Norton Simon Museum of Art) ประเทศสหรัฐอเมริกา ได้แก่ 1) เทวรูปศิลาทราย สูงประมาณ 1.14 เมตร คาดว่าเป็นพระอาทิตย์และเป็นชิ้นที่สำคัญที่สุด 2) แผ่นทอง สูงประมาณ 30 ซม. ดุนเป็นเทวรูปพระนารายณ์ 3) พระพุทธรูปสมัยทวาราวดี สลักด้วยศิลาทรายสีเทา สูงประมาณ 2.18 เมตร.

วัตถุที่ถูกลักลอบออกนอกประเทศไทยจากที่พบในหนังสือเรื่อง The Ideal Image, the Gupta Sculptural Tradition and Its Influence แต่งโดย Pratapaditya Pal มีทั้งหมด 11 ชิ้น ดังนี้ 1) พระพุทธรูปสัมฤทธิ์ปางทรงแสดงธรรม สูงประมาณ 5 เซนติเมตร อายุประมาณพุทธศตวรรษที่ 10-11 2) รูปเทพธิดาศิลาทราย 4 กร สูงประมาณ 15 เซนติเมตร 3) พระพุทธรูปศิลาทราย สูง 1.10 เมตร สมัยทวาราวดี 4) พระพิมพ์ดินเผารูปสี่เหลี่ยมผืนผ้าสูง 12 เซนติเมตร 5) รูปพระอิศวรศิลาสูงประมาณ 70 เซนติเมตร มาจากเมืองศรีเทพ จังหวัดเพชรบูรณ์ 6) แผ่นทองดุนนูนเป็นรูปพระอิศวร สูง 17 เซนติเมตร อาจมาจากเมืองศรีเทพ จังหวัดเพชรบูรณ์ 7) แผ่นเงินดุนนูนเป็นรูปพระพุทธองค์ สูง 14 เซนติเมตร อาจค้นพบจาก อำเภอกันทรวิชัย จังหวัดมหาสารคาม 8) พระพุทธรูปสัมฤทธิ์ยืนสูง 51 เซนติเมตร ศิลปทวาราวดีอายุราวพุทธศตวรรษที่ 13-14 9) พระพุทธรูปสัมฤทธิ์ สูง 22 เซนติเมตร คาดว่าค้นพบทางภาคใต้ของประเทศไทย 11) พระโพธิสัตว์ศรีอาริยเมตไตรยสัมฤทธิ์ สูง 1.20 เมตร เป็นประติมากรรมสัมฤทธิ์ที่ใหญ่ที่สุดและงามที่สุดองค์หนึ่งในบรรดาประติมากรรมซึ่งค้นพบที่อำเภอประโคนชัย จังหวัดบุรีรัมย์.