L'histoire ancienne d'Héraklion est fortement liée au palais minoen de Knossos. Les historiens de l'Antiquité, comme Strabon, considèrent Héraklion comme le port de Knossos, le centre de la civilisation minoenne. Cette période atteint son apogée du XVIe au XIVe siècle avant J.-C., et les fouilles révèlent une société riche qui fonde son économie sur l'agriculture et le commerce. Cette civilisation a été détruite vers 1500 avant J.-C., lorsque l'explosion du volcan de Santorin a soulevé un tsunami sur toute la mer Égée et a recouvert ses villes de cendres volcaniques.
Les siècles qui suivirent, du IXe au XIIIe siècle, ne furent pas particulièrement prospères pour la Crète. Une certaine croissance a eu lieu à l'époque de l'Empire romain, mais par la suite, la Crète a été fréquemment attaquée par des pirates et des armées hostiles. Au 14ème siècle, la ville d'Héraklion a été cédée aux Vénitiens, qui ont régné sur la Crète pendant quatre siècles. Ce fut la période la plus florissante pour Héraklion, avec un haut niveau de croissance dans les domaines de l'art, du commerce, de l'architecture et de la littérature.
Après avoir été assiégés par les Turcs pendant 25 ans, les Vénitiens ont été contraints d'abandonner la ville. Les Crétois se sont battus contre les Turcs pendant de nombreux siècles, et en 1898, l'île a obtenu son indépendance. Elle s'est finalement unie au reste de la Grèce en 1913.
En 1941, Héraklion a été attaquée une fois de plus, cette fois par l'armée allemande, entraînant des ravages et des dégâts considérables. Aujourd'hui, de nombreux monuments vénitiens subsistent encore dans la ville, telles que les anciennes fortifications, la forteresse emblématique, les fontaines et de nombreuses œuvres d'art de style européen.