İlçenin tarihi, il merkezi olan Kayseri ile aynıdır. Bölgenin çok eski bir yerleşim yeri olduğu İlçe merkezi ve Dadaloğlu Kasabasında bulunan ve bugün Kayseri’deki müzelerde sergilenen ilk çağlara ait hayvan heykelleri, paralar ve kabartma resimlerden anlaşılmaktadır.
1071 yılında Alparslan’ın Malazgirt Zaferinden sonra Anadolu’nun fethine kadar bölge sırasıyla Kapadokyalılar, Büyük İskender’in Makedonya İmparatorluğu, Pers İmparatorluğu ve Romalıların idaresinde kalmıştır. Malazgirt Zaferinden sonra bölgeye Uygur Türkleri ile İran’dan gelen Afşar Türkleri yerleşmiştir. Tomarza Osmanlı İmparatorluğu idaresinde iken de aynı isimle anılmış ve arak yönetilmiştir.
Cumhuriyetin ilanından sonra 1924 yıllarında Yunanistan ile imzalanan Nüfus Mübadelesi anlaşmaları ile Türkiye’ye getirilen Türk ailelerin bir kısmı Tomarza ve bazı mahallerinde iskan edilmiştir. Bundan sonra 1936, 1940 ve 1950 yıllarında Bulgaristan’dan gelen çok sayıda Türk ailesi de Tomarza merkezine yerleştirilmiştir.
1953 yılında çıkarılan bir kanunla Tomarza Develi’den ayrılarak şu anki sınırları ile ilçe haline getirilmiştir.