İlk kuruluşuna ait kesin bir bilgi ve belgeye rastlanılamayan İlçenin, Holhol olan eski adı YAYLADERE olarak değiştirilmiştir.
1071 Yılında yapılan Malazgirt savaşına kadar Bizans İmparatorluğu hâkimiyetinde bulunan bölge, Malazgirt Zaferi ile birlikte Selçuklu egemenliğine girmiştir. Daha sonra Akkoyunlu Devleti Hükümdarı Uzun Hasanın hâkimiyeti altında kalan bölge 1473 tarihinde yapılan Otlukbeli Savaşı sonrası Osmanlı İmparatorluğu himayesine girmiştir.
1514 Yılına kadar İran Safevi Devletinin saldırılarına maruz kalan bu bölge, Çaldıran savaşından sonra Yavuz Sultan Selim tarafından tamamen Osmanlı İmparatorluğu topraklarına katılmıştır.