تاریخ ساخت و بنیان‌گذار اولیه باغ ارم شیراز، به‌درستی مشخص نیست؛ ولی توصیف‌هایی از آن در سفرنامه‌های متعلق به قرن دهم و یازدهم هجری آمده‌است.این باغ در روزگار سلجوقیان و آل اینجو پا برجا بوده است. در زمان زندیه هم کریم‌خان زند در سازندگی و بهسازی این باغ کوشید. در زمان قاجاریه این باغ به مدت ۷۵ سال به دست سران ایل قشقایی افتاد. در این زمان عمارتی در این باغ ساخته شد. اما در زمان سلطنت ناصر الدین شاه قاجار عمارتی دیگر توسط حسین علی خان نصیر الملک پی ریزی شد که با مرگ وی خواهر زاده او ابولقاسم خان نصیر الملک امور باغ ارم را به دست گرفت و عمارت نیمه کاره را تکمیل کرد. این عمارت تا کنون پابرجاست. این باغ تنوع گیاهی بسیار بالایی دارد و گیاهان بسیاری از اقصا نقاط جهان در این باغ کاشته شده است؛ به شکلی که باغ در قالب یک نمایشگاه از انواع گل‌ها و گیاهان درآمده‌است. در حال حاضر این باغ در اختیار دانشگاه شیراز است؛ باغ گیاه‌شناسی آن در اختیار دانشکده کشاورزی و ساختمان باغ در اختیار دانشکده حقوق قرار دارد. در تاریخ ۶ تیرماه ۱۳۹۰ در سی‌وپنجمین اجلاس کمیتهٔ میراث جهانی یونسکو باغ ارم شیراز به همراه هشت باغ دیگر ایرانی در فهرست میراث جهانی ثبت گردید.