Kozanis Geschichte während der Antike ist im Vergleich zu anderen griechischen Städten eher weniger bekannt. Es wurden jedoch wichtige archäologische Funde aus dem Ende der Vorgeschichte entdeckt, wie z.B. die Nekropole aus der Eisenzeit. Es gibt außerdem Spuren der Siedlung Kalyvia, die sich zwischen 1100 und 1300 n. Chr. auf dem Siopotos-Hügel befand. 1392 flüchteten Siedler aus Epirus – genauer gesagt aus Premeti, Vythikouki und Kozdiani – in die Siedlung Kalyvia und bauten ihre Häuser etwas weiter östlich der Siedlung. Sie gründeten somit eine neue Gemeinde, wobei Kozani erstmals 1528 im Ferman eines Sultans erwähnt wurde. Es gibt viele Theorien darüber, wie Kozani zu seinem Namen kam, wobei die vorherrschende davon ist, dass die Siedler aus Epirus ihre neue Siedlung „Kozdiani“ nannten, was im Laufe der Zeit zu „Koziani“ und schließlich zu „Kozani“ wurde. Da Kozani unter dem Schutz des Valide Sultan stand, sah es bis zum 19. Jahrhundert keine Eroberer. Ein wichtiges Ereignis war jedoch die Gründung der Bibliothek im Jahr 1668, die heute nach Athen die zweitgrößte Bibliothek Griechenlands ist und „Koventarios“ heißt. Sie verfügt über 153.000 Bände, 380 Manuskripte, seltene Ausgaben und eines der 17 erhaltenen Originale der Landkarte von Griechenland von Rigas Feraios. Die Plünderung von Kozani im Jahr 1803 durch Aslan Bey stoppte die Entwicklung der Stadt, während ihre Einwohner an der Seite der übrigen Griechen an der Revolution von 1821 teilnahmen. Einige Jahre später kämpften die Einwohner von Kozani während des Makedonischen Kampfes für ihre Freiheit. Sie befreiten sich 1912 von den Türken, während sich 1923, im Rahmen des Bevölkerungsaustausches zwischen Griechenland und der Türkei, zahlreiche Flüchtlinge im Südosten der Stadt ansiedelten.