หอเขียนวังสวนผักกาดนี้เดิมอยู่ที่วัดบ้านกลิ้งบนฝั่งแม่น้ำเจ้าพระยา ระหว่างอำเภอบางประอิน และพระนครศรีอยุธยา เป็นตำหหนักของเจ้านาย เดิมมีอยู่ด้วยกัน 2 หลัง คือเป็นหอไตรหลังหนึ่งและหอเขียนอีกหลังหนึ่ง หอไตรเป็นห้องมีระเบียงรอบ ปลูกอยู่บนเสาสูง หอเขียนเป็นศาลาไม้มีฝา 3 ด้าน ด้านหน้าเปิดโล่ง ทั้ง 2 หลังมีภาพรายลดน้ำประกอบเต็มทุกฝา ภายหลังหอเขียนได้ทรุดโทรมลงมาก ชาวบ้านจึงรื้อหอไตรและหอเขียนลง แล้วรวมเอาไม้มาปลูกใหม่เป็นหอไตรหลังเดียว มีห้องในและระเบียงล้อมรอบ
ภายหลัง กรมหมื่นนครสวรรค์ศักดิพินิต ได้ติดต่อกับเจ้าอาวาสขอกระทำผาติกรรมไถ่ถอนลงมาปลูกที่วัง โดยจะสร้างศาลาใหม่ถวายแทนที่วัด และได้ทำการฉลองหอเขียนใหม่ได้ทำในวันที่ 8 มีนาคม พ.ศ. 2502 ซึ่งเป็นวันฉลองอายุของ ม.ร.ว. พันธุ์ทิพย์ ภาพที่เขียนมีทั้งภาพพุทธประวัติ ภายชาวต่างชาติ