Los romanos la bautizaron con el nombre de Thapsus y los cronistas cristianos de la edad medio la nombraron Cap África. Mahdia fue fundada por los fatimíes (secta musulmana chiíta) que después de una guerra de 10 años contra los aghlabies (Kairouan), de la que salieron victoriosos, trasladaron su capital de Kairouan a una nueva ciudad al que bautizaron Mahdia, en honor al califa Obeid Allah El Mahdi y de ahí extendieron su emperio sobre el resto del mundo islámico. Obeid Allah murió en el 934. Su heredero tuvo que enfrentarse a la revuelta de los beréberes que saquearon toda la

ciudad. Los Fatimíes acabaron con la revuelta al cabo de ocho meses y decidieron abandonar Mahdia para fundar una nueva capital ”Al Mansura” a unos pocos kilómetros de Kairouan. En el 973 Los Fatimíes se trasladaron a Egipto y fundaron El Cairo.
Mahdia abandonada, se convirtió en un nido de piratas y fue saqueada por los genoveses, ocupada por Roger de Sicilia entre 1148 y 1160, en 1549 por el pirata Dragut y entre 1550 y 1554 por Carlos V.
En 1907, en las costas de Mahdia, unos pescadores encontraron los restos de una nave griega que se dirigía a Roma cargada con una magnifica colección de estatuas de bronce y de mármol y de impresionantes columnas destinadas aparentemente a la construcción de un magnifico palacio. Este hallazgo se encuentra hoy en día expuesto en el museo nacional de El Bardo.
Mahdia, la antigua capital Fatimí, es en la actualidad un importante puerto pesquero, y un centro artesanal destacado. A dichas actividades se ha sumado un gran desarrollo turístico debido la belleza de sus playas y a la diversidad de su oferta hotelera.