ทับหลังนารายณ์บรรทมสินธุ์เดิมอยู่ทางทิศตะวันออกของประสาทพนมรุ้ง จังหวัดบุรีรัมย์ แต่ตกลงมาที่พื้นและแตกออกเป็นสองซีก หลักฐานรูปแรกสุดได้ถ่ายไว้สมัยสมเด็จกรมพระยาดำรงราชานุภาพ เมื่อปี พ.ศ. 2472 อีก 31 ปีต่อมา นายมานิต วัลลิโภดม จากกรมศิลปากรถ่ายรูปไว้เมื่อ พ.ศ. 2503 ต่อมา กรมศิลปากรจึงได้พิมพ์เป็นหนังสือ หลังจากนั้นทับหลังก็หายไป ซึ่งกรมศิลปากรไปติดตามได้คืนมาชิ้นหนึ่ง ปัจจุบันติดอยู่ที่ปราสาทพนมรุ้งแล้ว เมื่อ ศาสตราจารย์ หม่อมเจ้า สุภัทรดิศ ดิศกุล ได้รับเชิญไปบรรยายที่สหรัฐอเมริกา รวมทั้งที่สถาบันชิคาโกด้วยได้พบทับหลังตั้งแสดงอยู่ที่นั่น จึงได้รายงานถึงกรมศิลปากรให้ดำเนินการติดต่อขอคืนในปี พ.ศ. 2519 และเงียบหายไปเป็นเวลากว่า 10 ปี จนกระทั่ง พ.ศ. 2531 จึงมีการติดต่อ และส่งคืนให้ในที่สุด.

คณะโบราณคดี มหาวิทยาลัยศิลปากร ได้พานักศึกษาไปฝึกหัดขุดค้นและขุดแต่งซากโบราณสถานที่เทวสถาน จังหวัดพระนครศรีอยุธยา ตั้งแต่วันที่ 5 พฤศจิกายน - 9 พฤศจิกายน 2512 จากผลการขุดแต่งแล้วนั้นปรากฏว่า มีระยะการก่อสร้าง 3 ครั้งหรือ 3 สมัยด้วยกัน
ครั้งแรกคงสร้างแต่องค์เทวสถานเพียงอย่างเดียว รูปเป็นปรางค์แน่เพราะฐานเดิมปรากฏอยู่เป็นรูปฐานย่อไม้ 20 และย่อเก็จทำเป็นซุ้มมุขทิศ 4 ด้าน ตามที่ปรากฏร่องรอยอยู่นั้นองค์ปรางค์ก่อด้วยอิฐใช้ดินดิบเป็นสื่อเชื่อมแทนปูนสอ ผิวนอกองค์ปรางค์ถือปูน
ระยะที่ 2 ก่อสร้างวิหารต่อด้านหน้าเทวสถานเพิ่มขึ้นอีก ซึ่งมีข้อสังเกตและหลักฐานอยู่ 2 อย่างคือ ลักษณะปูนถือและส่วนผสมปูนถือผนังวิหารต่างชนิดและต่างอายุกันกับปูนถือเทวสถานองค์ปรางค์ และตรงวที่วิหารกับเทวสถานปรางค์มาต่อเชื่อมกัน อิฐแยกออกจากกันอย่างมีระเบียบโดยมีแนวบัวที่ทำสำเร็จฝังอยู่ในผนังวิหารส่วนที่เชื่อมต่อกัน
ระยะที่ 3 ก่อสร้างระเบียงแบบเป็นห้องด้านหน้าและด้านข้างวิหารทั้งสองข้างดังที่ปรากฏแนวผนังเหลืออยู่นั้น ระเบียงคงใช้เป็นที่พักจำพรรษาหรือเป็นที่ประดิษฐานพระพุทธรูปในระยะหลังก็อาจเป็นได้ ตัวอาคารผนังก่ออิฐถือปูน หลังคามุงด้วยกระเบื้องดินเผาเช่นเดียวกันกับพระวิหาร.

เมืองศรีเทพ บางท่านเรียกว่า เมืองอภัยสาลี เดิมตั้งอยู่ในอำเภอวิเชียรบุรี จังหวัดเพชรบูรณ์ แต่ปัจจุบันเปลี่ยนมาตั้งอยู่ในอำเภอศรีเทพแล้ว สมเด็จกรมพระยาดำรงราชานุภาพได้ทรงค้นพบเมืองนี้เมื่อ พ.ศ. 2448 ประติมากรรมศิลาที่ค้นพบส่วนใหญ่เป็นเทวรูปในศาสนาพราหมณ์ มีอายุอยู่ในราวพุทธศตวรรษที่ 12-13 ต่อมาพบศิลาจารึกอีก 2 หลัก แสดงว่าอาณาจักรเจนละหรือขอมรุ่นแรกในขณะนั้นได้แผ่อำนาจเข้ามาถึงยังลุ่มแม่น้ำป่าสักแล้ว โบราณวัตถุซึ่งถูกลักลอบออกไปจากเมืองศรีเทพ 3 ชิ้น และปัจจุบันอยู่ในพิพิธภัณฑ์นอร์ตัน ไซมอน (Norton Simon Museum of Art) ประเทศสหรัฐอเมริกา ได้แก่ 1) เทวรูปศิลาทราย สูงประมาณ 1.14 เมตร คาดว่าเป็นพระอาทิตย์และเป็นชิ้นที่สำคัญที่สุด 2) แผ่นทอง สูงประมาณ 30 ซม. ดุนเป็นเทวรูปพระนารายณ์ 3) พระพุทธรูปสมัยทวาราวดี สลักด้วยศิลาทรายสีเทา สูงประมาณ 2.18 เมตร.

วัตถุที่ถูกลักลอบออกนอกประเทศไทยจากที่พบในหนังสือเรื่อง The Ideal Image, the Gupta Sculptural Tradition and Its Influence แต่งโดย Pratapaditya Pal มีทั้งหมด 11 ชิ้น ดังนี้ 1) พระพุทธรูปสัมฤทธิ์ปางทรงแสดงธรรม สูงประมาณ 5 เซนติเมตร อายุประมาณพุทธศตวรรษที่ 10-11 2) รูปเทพธิดาศิลาทราย 4 กร สูงประมาณ 15 เซนติเมตร 3) พระพุทธรูปศิลาทราย สูง 1.10 เมตร สมัยทวาราวดี 4) พระพิมพ์ดินเผารูปสี่เหลี่ยมผืนผ้าสูง 12 เซนติเมตร 5) รูปพระอิศวรศิลาสูงประมาณ 70 เซนติเมตร มาจากเมืองศรีเทพ จังหวัดเพชรบูรณ์ 6) แผ่นทองดุนนูนเป็นรูปพระอิศวร สูง 17 เซนติเมตร อาจมาจากเมืองศรีเทพ จังหวัดเพชรบูรณ์ 7) แผ่นเงินดุนนูนเป็นรูปพระพุทธองค์ สูง 14 เซนติเมตร อาจค้นพบจาก อำเภอกันทรวิชัย จังหวัดมหาสารคาม 8) พระพุทธรูปสัมฤทธิ์ยืนสูง 51 เซนติเมตร ศิลปทวาราวดีอายุราวพุทธศตวรรษที่ 13-14 9) พระพุทธรูปสัมฤทธิ์ สูง 22 เซนติเมตร คาดว่าค้นพบทางภาคใต้ของประเทศไทย 11) พระโพธิสัตว์ศรีอาริยเมตไตรยสัมฤทธิ์ สูง 1.20 เมตร เป็นประติมากรรมสัมฤทธิ์ที่ใหญ่ที่สุดและงามที่สุดองค์หนึ่งในบรรดาประติมากรรมซึ่งค้นพบที่อำเภอประโคนชัย จังหวัดบุรีรัมย์.

โบราณวัตถุสมัยประวัติศาสตร์ ในประเทศไทยแบ่งกว้าง ๆ เป็น 2 สมัย คือ สมัยก่อนที่ชนชาติไทยจะเข้าปกครองประเทศ และสมัยที่ชนชาติไทยเข้าปกครองประเทศแล้ว สำหรับสมัยแรกแบ่งเป็นศิลปะ 5 แบบย่อย ๆ ได้แก่ 1) โบราณวัตถุรุ่นต้นที่ค้นพบในประเทศไทย (ราวพุทธศตวรรษที่ 6-11) เช่น ตะเกียงโรมันสำริด ซึ่งค้นพบที่ ตำบลพงตึก อำเภอท่ามะกา จังหวัดกาญจนบุรี 2) ศิลปะทวาราวดี (ราวพุทธศตวรรษที่ 12-16) เช่น ศิลาจารึกภาษามอญรุ่นเก่าราวพุทธศตวรรษที่ 12 ค้นพบในเขตจังหวัดนครปฐม และลพบุรี 3) เทวรูปรุ่นเก่าในประเทศไทย (ราวพุทธศตวรรษที่ 12-14) เช่น ศิวลึงค์ และเทวรูปพระนารายณ์ ค้นพบทางภาคใต้และภาคตะวันออกของประเทศไทย 4) ศิลปะศรีวิชัย (ราวพุทธศตวรรษที่ 13-18) เช่น เศษเครื่องถ้วยชามจีนสมัยราชวงศ์ถัง ค้นพบทั้งทางฝั่งทะเลตะวันออกและตะวันตกของประเทศไทย 5) ศิลปะลพบุรี (ราวพุทธศตวรรษที่ 12-19) พบที่ภาคตะวันออกและตะวันออกเฉียงเหนือของประเทศไทย ส่วนศิลปะในประเทศไทยเมื่อชนชาติไทยเข้าปกครองแล้ว แบ่งได้เป็น 5 แบบ คือ 6) ศิลปะเชียงแสนหรือล้านนา (ราวพุทธศตวรรษที่ 16 หรือ 18 ถึง พุทธศตวรรษที่ 23) เจริญขึ้นมาทางภาคเหนือของประเทศไทย 7) ศิลปะสุโขทัย (ราวพุทธศตวรรษที่ 19-20) ถือกันว่าเป็นศิลปะที่งามที่สุดของไทย เช่น พระพุทธรูปสุโขทัย เครื่องสังคโลก 8) ศิลปะอู่ทอง (ราวพุทธศตวรรษที่ 17-20) เช่น พระพุทธรูป พระปรางค์องค์ใหญ่วัดพระศรีมหาธาตุ จังหวัดลพบุรี 9) ศิลปะอยุธยา (พุทธศตวรรษที่ 20-23) เช่น จิตรกรรมฝาผนัง เครื่องอาภรณ์ในกรุพระปรางค์วัดราชบูรณะ จังหวัดพระนครศรีอยุธยา เครื่องลายรดน้ำ 10) ศิลปะรัตนโกสินทร์ (ราวต้นพุทธศตวรรษที่ 24 จนถึงปัจจุบัน) มีการเลียนแบบศิลปะจีน และศิลปะตะวันตกเป็นศิลปะแบบผสม (eclectic).

โบราณวัตถุที่ถูกลักลอบออกนอกประเทศไทยและปัจจุบันอยู่ในพิพิธภัณฑ์เอกชนประเทศสหรัฐอเมริกาจากหนังสือเรื่อง The Ideal Image, the Gupta Sculptural Tradition and Its Influence แต่งโดย Pratapaditya Pal ได้แก่ 1) พระพุทธรูปสำริดปางทรงแสดงธรรม สูงประมาณ 5 เซนติเมตร คล้ายกับศิลปะทวารวดี 2) เทพธิดาศิลาทราย (เทวสตรี) 4 กร สูงประมาณ 15 เซนติเมตร คล้ายกับเทวรูปที่พบทางภาคใต้ของประเทศไทย มีอายุราวพุทธศตวรรษที่ 11 3) พระพุทธรูปศิลาทราย สูงประมาณ 1.10 เมตร สมัยทวารวดี มีอายุราวพุทธศตวรรษที่ 13 4) พระพิมพ์ดินเผา สูงประมาณ 12 เซนติเมตร มีลักษณะคล้ายกับพระพิมพ์ทางภาคใต้ของประเทศไทย มีอายุราวพุทธศตวรรษที่ 12-13 5) พระอิศวรศิลา สูงประมาณ 70 เซนติเมตร กล่าวว่าได้มาจากเมืองศรีเทพ จังหวัดเพชรบูรณ์ มีอายุราวพุทธศตวรรษที่ 12 6) แผ่นทองดุนนูนรูปพระอิศวร สูงประมาณ 17 เซนติเมตร อาจพบที่เมืองศรีเทพ จังหวัดเพชรบูรณ์ มีอายุราวพุทธศตวรรษที่ 12-13 7) แผ่นเงินดุนนูนรูปพระพุทธองค์ สูงประมาณ 14 เซนติเมตร คล้ายกับที่อำเภอกันทรวิชัย จังหวัดมหาสารคาม มีอายุราวพุทธศตวรรษที่ 13-14 8) พระพุทธรูปสำริด ยืนตริภังค์ สูงประมาณ 51 เซนติเมตร จัดอยู่ในศิลปะทวารวดี มีอายุราวพุทธศตวรรษที่ 13-14 9) พระพุทธรูปสำริด สูงประมาณ 22 เซนติเมตร จัดอยู่ในศิลปะทวารวดี มีอายุราวพุทธศตวรรษที่ 13-14 10) พระโพธิสัตว์อวโลกิเตศวร สูงประมาณ 44 เซนติเมตร ลักษณะคล้ายกับที่พบทางภาคใต้ของประเทศไทย มีอายุราวพุทธศตวรรษที่ 13-14 11) พระโพธิสัตว์ศรีอาริยเมตไตรย สำริด สูงประมาณ 1.20 เมตร ลักษณะคล้ายกับศิลปะขอม มีอายุราวพุทธศตวรรษที่ 13-14 โดยบทความนี้หวังว่าให้คนไทยมีความกระตือรือร้นในการสงวนรักษาโบราณวัตถุสถานของเราให้มากยิ่งขึ้น.

แผ่นเงิน 66 แผ่น ค้นพบที่ อ.กันทรวิชัย จ.มหาสารคาม ในซากพระอุโบสถ (?) ซึ่งเรียกกันว่า อุ่มญาคู ในเมืองคันธารวิสัย ต.คันธาร์ เจ้าหน้าที่หน่วยศิลปากรที่ 7 ได้ขุดค้นพบเมื่อ พ.ศ. 2515 เมืองคันธารวิสัย มีแผนผังเป็นรูปไข่ มีคูเมืองล้อมรอบอยู่ระหว่างเชิงเทิน 2 ชั้น สิ่งสำคัญที่สุดชิ้นหนึ่งที่ค้นพบในการขุดแต่งซากพระอุโบสถคือ พระพิมพ์ดินเผา ขนาด 14 x 22.5 ซม. เป็นพระพุทธรูปปางสมาธิ อายุระหว่างพุทธศตวรรษที่ 14-15 แต่ที่น่าสนใจที่สุดคือ ภาชนะดินเผาสูง 12.5 ซม. ปากกว้าง 20 ซม. มีแผ่นเงินบุเป็นรูปต่าง ๆ 66 แผ่น อยู่ภายใน ลักษณะเป็นรูปสี่เหลี่ยมผืนผ้าขนาดต่าง ๆ กัน ระหว่าง ขนาด 10 x 15 ซม. เป็นแผ่นเงินที่ถูกบุเป็นพระพุทธรูป รูปเทวดาหรือเจ้านาย รูปสถูปและธรรมจักรตั้งอยู่บนยอดเสา ส่วนใหญ่เป็นพระพุทธรูปประทับนั่ง อาจสรุปว่าสร้างขึ้นในศิลปะทวารวดี โดยบุขึ้นในตอนปลายของศิลปะทวารวดีราวพุทธศตวรรษที่ 15-16 แสดงถึงความสำคัญของพระพุทธศาสนาลัทธิเถรวาทในภาคตะวันออกเฉียงเหนือของประเทศไทยในขณะนั้น.