Kozani n'a pas une histoire aussi connue dans l'Antiquité que d'autres villes de Grèce. Cependant, d'importantes découvertes archéologiques ont été faites dès la fin de la préhistoire, comme la nécropole datant de l'âge du fer. Il y a aussi des traces du peuplement de Kalyvia, entre 1100 et 1300 av. sur la colline de Siopotis. En 1392, les colons de l'Épire - à savoir Premeti, Vythikouki et Kozdiani se sont réfugiés dans la colonie de Kalyvia et ont construit leurs maisons un peu plus à l'est de la colonie. Ainsi, ils ont créé une seule communauté, la première mention enregistrée de Kozani étant dans le firman d'un sultan en 1528. Il existe de nombreuses théories sur la façon dont Kozani a obtenu son nom, la plus répandue étant que les colons de l'Épire ont appelé leur nouvelle colonie Kozdiani. qui en cours de route est devenu Koziani et enfin Kozani. Parce qu'elle était placée sous la protection du Valide Sultan, Kozani n'a connu aucune invasion jusqu'au 19ème siècle. Un événement important fut la fondation de la bibliothèque en 1668, qui est aujourd'hui la deuxième plus grande bibliothèque de Grèce, après celle d'Athènes, et s'appelle Koventarios. Il compte 153 000 volumes, 380 manuscrits, des éditions rares et l'un des 17 originaux survivants de la carte de la Grèce de Rigas Feraios. Le pillage de Kozani en 1803 par Aslan Bey stoppa le développement de la ville, tandis que ses habitants participèrent avec le reste des Grecs à la Révolution de 1821. Quelques années plus tard, les habitants de Kozani se battirent pour leur liberté lors de la Lutte macédonienne. Ils ont été libérés des Turcs en 1912, tandis qu'en 1923 lors de l'échange de population entre la Grèce et la Turquie, plusieurs réfugiés se sont installés dans le sud-est de la ville.