ישנן עדויות על התיישבות יהודית בעזה כבר בתקופת בית המקדש השני. ההתיישבות היהודית בעיר המשיכה להתקיים גם בתקופה הטרום ערבית ואף לאחר הכיבוש הערבי.
במאה ה-17 שימש כרב העיר הרב ישראל נג'ארה שהיה פוסק ואחד מגדולי הפייטנים. מפורסם גם בן העיר נתן העזתי שהיה נביאו של שבתאי צבי.
עם התעוררות התנועה הציונית יזם ויסוצקי, מראשי חובבי ציון, מהלך של יישוב יהודים בערים ערביות ברחבי הארץ, ובעקבות זאת עברו יהודים מספר להתגורר בעזה.
בשנת 1907 מונה הרב ניסים אוחנה לרב העיר והוא ייסד בה בית ספר, שאליעזר בן יהודה נכח בפתיחתו.
עם פרוץ מלחמת העולם הראשונה גירשו העות'מאנים את היהודים מעזה, אולם הם שבו אליה לאחר המלחמה. יהודי עזה נאלצו לעזוב אותה שוב בעקבות מאורעות הדמים בתרפ"ט (1929), ומאז לא התגוררו עוד יהודים בעיר.

סמוך לנמל עזה התגלו שרידי בית הכנסת העתיק שנבנה במאה השישית לספירה.
על רצפת בית הכנסת נמצא פסיפס של בעלי חיים אפריקניים. בכניסה לבית הכנסת נמצא פסיפס נוסף ובו דמותו של דוד המלך הפורט בנבל, ומעל מופיע השם "דויד".
הכתובת המרכזית של הפסיפס היא ביוונית, והרי תרגומה:
"אנחנו מנחם וישוע בני ישי המנוח, סוחרי עצים, כאות הערצה לאתר הקדוש ביותר תרמנו את הפסיפס הזה בחודש לואוס שנת 569."