La ciudad, llamada Thysdrus, fue fundada, seguramente, por los fenicios. Situada en una zona agrícola pobre no conoció un desarrollo importante durante la época púnica. Tampoco debió ser importante durante los primeros siglos de la dominación romana, como se deduce del humilde tributo que pidió César a la ciudad durante la guerra de África. A partir del siglo II con la introducción a gran escala del cultivo del olivo, la ciudad adquirió mayor importancia y se convirtió en capital comercial del aceite. Thysdrus disputó a Hadrumet el segundo rango después de Cartago.
La ciudad alcanzó su apogeo durante la primera mitad del siglo III cuando unos comerciantes enriquecidos edificaron suntuosas casas en las que se han encontrado magníficos mosaicos. Numerosos monumentos públicos fueron construidos en esa época, de los que destaca, sin duda alguna, el anfiteatro, con una imponente arquitectura que superó las vicisitudes del tiempo. Construido durante la cuarta década del tercer siglo, tenía una capacidad de 30.000 espectadores

El anfiteatro romano de El Jem es, sin duda, uno de los monumentos romanos más famosos de Túnez. Su impresionante arquitectura destaca majestuosamente entre las casas bajas de la ciudad. Ocupa el séptimo rango mundial después del de Roma, Capue, Milano, Autum, Verona y Cartago.
La construcción, de forma elíptica, tiene 36 m. de altura y sus dimensiones son de 148 m. por 122 m.; la arena mide 65 m. por 39 m. Tenía tres pisos con 60 arcadas corintias. Bajo el suelo de la arena tiene dos galerías en forma de cruz bordeadas de celdas abovedadas destinadas a los combatientes y a las fieras. El coliseo no tiene un podium que separaba a los espectadores de la arena. El acceso al anfiteatro se hacía por la planta baja a través de grandes arcadas, sobre las cuales había una inscripción simbólica (león, mujer, etc.) que correspondía a un barrio concreto de la ciudad, de manera que los espectadores debían entrar y salir por la puerta que les estaba asignada, de ese modo se evitaban aglomeraciones. Esas mismas arcadas conducen a unos pasillos paralelos al perímetro de la arena de los que nacen unas escaleras que conducen a los tres pisos y desembocan en las gradas.
Su arquitectura es imponente por el tipo de material utilizado para la construcción: arenisca de la zona de Mahdia, una piedra resistente y fácil de tallar.
El coliseo fue concebido para servir de marco a unos espectáculos sangrientos oponiendo gladiadores y fieras o bien condenados a muerte, casi desarmados, a adversarios armados o a fieras. Si estos condenados a muerte lograban sobrevivir, al cabo de tres años, se les concedía la libertad y se beneficiaban de una pensión.