Kozani non ha una storia antica così interessante come le altre città della Grecia. Tuttavia, sin dalla fine della preistoria sono stati rinvenuti importanti reperti archeologici, come la necropoli risalente all'età del ferro. Ci sono anche tracce dell'insediamento di Kalyvia, tra il 1100 e il 1300 aC sulla collina di Siopotos. Nel 1392, i coloni dell'Epiro - vale a dire Premeti, Vithikouki e Kozdiani - fuggirono nell'insediamento di Kalyvia e costruirono le loro case un po' più a est dell'insediamento. In questo modo crearono una comunità unificata, con il primo documento certo di Kozani a firma di un sultano che risale al 1528. Ci sono molte teorie su come Kozani abbia preso il nome, con quella più diffusa che vuole che i coloni dell'Epiro chiamarono il loro nuovo insediamento Kozdiani, che nel processo divenne Koziani e infine Kozani. Dovuto al fatto che era sotto la protezione del Sultano, Kozani non ebbe conquistatori fino al XIX secolo. Un evento importante fu la fondazione della biblioteca nel 1668, che oggi è la seconda biblioteca più grande della Grecia, dopo quella di Atene e si chiama Coventarius. Ha 153.000 volumi, 380 manoscritti, edizioni rare e uno dei 17 originali sopravvissuti della Rigas Feraios Charter of Greece. Il saccheggio di Kozani nel 1803 da parte di Aslan Bey fermò lo sviluppo della città, mentre i suoi abitanti parteciparono con il resto dei greci alla Rivoluzione del 1821. Pochi anni dopo, gli abitanti di Kozani combatterono per la loro libertà durante la lotta macedone. Furono liberati dai turchi nel 1912, mentre nel 1923 durante lo scambio di popolazione tra Grecia e Turchia, diversi profughi si stabilirono nel sud-est della città.