Kärdlat on esmakordselt mainitud 1564. aastal, kui seal asus 24 perekonnast koosnev rootslaste asundus. Aastaks 1810 oli enamik rootsi peresid lahkunud ja Partsi mõis rajas sinna karjamõisa. Kärdla küla hakkas kasvama 1830. aastal sinna Suuremõisast üle toodud kalevivabriku tõttu. 1938. aastal anti Kärdlale linnaõigused. 1946. a. eraldati Hiiumaa administratiivselt Läänemaast ning Kärdlast sai maakonnakeskus. Aastal 2012 on Kärdla territoorium 450 ha ja elanikke ca 4000.