در سال 1291 ه. ق ناصرالدین شاه پس از بازگشت از سفر اول فرنگ خود دستور داد کاخ ی بین قصر قاجار (زندان قصر کنونی) و باغ نگارستان (وزارت ارشاد کنونی) احداث کنند و عمارتی چهار طبقه را در آن پایه ریزی نمایند . این کاخ ساخته شد و به دلیل آنکه شاه زنانش را به این مکان انتقال داد به تاریج به « کاخ عشرت آباد » تغییر نام داد .
ایمانپور گفت: به دیگر روایت اسکندر پس از فتح تخت جمشید، جشن برپا کرد که در آن جشن معشوقه، اسکندر که در حالت مستی بوده است با مشعلی که در دست داشته، پرده کاخ را آتش میزند که باعث آتش گرفتن کل بنا میشود.