El primer pont sobre la Muga va ser una passera construïda al segle XI quan els Comtes d’Empúries es van establir al municipi. Se’n té constància des del 1279 en documents en els quals surt esmentat com el “ponte novo de Castilione”.
El primer pont de pedra aixecat entre 1286 i 1287 disposava de nou arcs de mig punt de diferents amplades. Possiblement, el nom actual de Pont Vell es va originar el 1875, amb la inauguració del pont metàl•lic. Fruit del pas del temps, guerres, terratrèmols i riuades, el pont va patir diversos danys i, com a conseqüència, actualment només queda sencera una de les nou arcades originals, concretament la tercera començant per ponent.
Actualment, el Pont Vell és un pont ampli, bastit amb pedra i maons, format per set arcades o ulls de diferent tipologia i mides: tres arcs de mig punt al centre, un arc apuntat al nord-est i tres arcs carpanells a sud-oest.
Els pilars estan reforçats amb tallamars que també actuen de contraforts. Després de diverses reformes i restauracions, queda un arc de pedra mentre que els altres són de maó. Les baranes es van construir en maó en la darrera restauració.