با اینکه حافظ در سال 792 چشم از جهان فرو بست با این حال آرامگاه او سال های بعد ساخته شد. اولین بار فردی به نام محمد یغمایی تصمیم به ساخت این مقبره گرفت. این شخص وزیر حاکم آن زمان فارس بود.
ابتدا این مکان شبیه به یک گنبد بود که حوضی روبه روی آن قرار گرفته بوده است. هنگامی که حکومت صفوی به سلطنت رسید شاه عباس دوباره این مکان را ترمیم کرد. اما در هنگام سلطنت زندیان 4 ستون به این بنا افزوده شد. خوده آرامگاه درهایی در بخش شمالی و جنوبی داشت و سپس دو اتاق هم به آن اضافه شد