หอเขียนวังสวนผักกาดนี้เดิมอยู่ที่วัดบ้านกลิ้งบนฝั่งแม่น้ำเจ้าพระยา ระหว่างอำเภอบางประอิน และพระนครศรีอยุธยา เป็นตำหหนักของเจ้านาย เดิมมีอยู่ด้วยกัน 2 หลัง คือเป็นหอไตรหลังหนึ่งและหอเขียนอีกหลังหนึ่ง หอไตรเป็นห้องมีระเบียงรอบ ปลูกอยู่บนเสาสูง หอเขียนเป็นศาลาไม้มีฝา 3 ด้าน ด้านหน้าเปิดโล่ง ทั้ง 2 หลังมีภาพรายลดน้ำประกอบเต็มทุกฝา ภายหลังหอเขียนได้ทรุดโทรมลงมาก ชาวบ้านจึงรื้อหอไตรและหอเขียนลง แล้วรวมเอาไม้มาปลูกใหม่เป็นหอไตรหลังเดียว มีห้องในและระเบียงล้อมรอบ
ภายหลัง กรมหมื่นนครสวรรค์ศักดิพินิต ได้ติดต่อกับเจ้าอาวาสขอกระทำผาติกรรมไถ่ถอนลงมาปลูกที่วัง โดยจะสร้างศาลาใหม่ถวายแทนที่วัด และได้ทำการฉลองหอเขียนใหม่ได้ทำในวันที่ 8 มีนาคม พ.ศ. 2502 ซึ่งเป็นวันฉลองอายุของ ม.ร.ว. พันธุ์ทิพย์ ภาพที่เขียนมีทั้งภาพพุทธประวัติ ภายชาวต่างชาติ

กรมหมื่นนครสวรรค์ศักดิพินิต โปรดให้รื้อตำหนักไทยของพระบิดา คือ สมเด็จเจ้าฟ้าฯ กรมพระนครสวรรค์วรพินิต มาปลูกไว้ที่วังสวนผักกาด และทรงเริ่มตกแต่งตำหนักเหล่านั้นด้วยโบราณวัตถุไทยที่พระธิดาได้ทรงรวบรวมไว้แต่ก่อน ต่อมา เสด็จในกรมฯ ได้ประทานวังสวนผักกาดให้เป็นพิพิธภัณฑ์และตั้งชื่อให้ว่า พิพิธภัณฑ์จุมภฏ-พันธุ์ทิพย์ ปัจจุบันพิพิธภัณฑ์แห่งนี้ประกอบด้วยตำหนักไทยหลังแรกทางด้านทิศเหนือมีพระพุทธรูปสำคัญ คือ พระพุทธรูป
คันธารราฐ เทวรูปพระอุมา รูปอรรธนารีศวร (ในบทความใช้ว่ารูปอรรธนารี) ภาพสลักบนไม้ จิตรกรรมบนไม้เรื่องพุทธประวัติสมัยอยุธยา ฯลฯ ตำหนักไทยด้านทิศใต้มีพระพุทธรูปปางลีลาสมัยสุโขทัย เครื่องมุก เครื่องถม พัดรอง ฯลฯ หอเขียนมีภาพลายรดน้ำตั้งอยู่ทางทิศใต้ของบริเวณวัง เรือนไทยทางทิศตะวันตกมีภาพเขียนสมัยปัจจุบันของศิลปินไทย เรือนไทยทางทิศตะวันตกเฉียงเหนือมีเครื่องสังคโลกสมัยสุโขทัย เครื่องถ้วยชามสมัยลพบุรีและสมัยก่อนประวัติศาสตร์.