Namun dibalik cerita angker itu, ada fakta yang sebenarnya dibalik rumah tua ini. Rumah ini dibangun tahun 1860 oleh Atmo Sudigdo. Keluarga Atmo memiliki 5 orang anak, dimana salah satunya menjadi menteri agama pertama di Indonesia era Soeharto yaitu Prof. Dr. Muhammad Rasjidi.
Bangunan ini sempat ditinggalkan selama 40 tahun. Dan sempat beberapa kali disewakan. Namun sekarang rumah ini tak dihuni dan tidak dijual. Pasalnya bangunan dan tanah ini adalah hak waris buat 3 anak. Saat ini mereka lebih memilih tinggal di rumah daripada disana.
Julukan Rumah Pocong Sumi karena sosok yang sering menampakkan diri ke orang-orang sekitar bernama Sumi. Sebenarnya, tidak hanya pocong Sumi yang dianggap sebagai penghuni rumah. Ada beberapa hantu lainnya, namun yang cukup terkenal adalah pocong Sumi.
Ga heran, rumah berusia lebih dari 100 tahun ini dikenal dengan aura mistis yang menyeramkan. Meski begitu, Rumah Sumi menjadi salah satu destinasi yang cukup banyak didatangi untuk berswafoto. Dari anak muda sampai orang dewasa penasaran dengan rumah tua ini.