天水市古为“邽县”。
邽县（读作：guī）原本是邽戎地，在今甘肃天水市。公元前688年秦武公取其地，置邽县，后改为上邽县。公元前221，秦始皇置三十六郡时，上邽是陇西郡中一县。汉武帝时，置天水郡，上邽是其中一县，区划是今天水市区西南。
天水郡称呼始于汉武帝元鼎三年（前114年）。 天水得名，源于“天河注水”的美丽传说。远在三千多年前，天水地区人烟稠密，屋宇毗连，“山水灵秀，林木密茂”。秦末汉初，长期的征战加上干旱，上邽城民不聊生。一天夜里，忽然狂风呼啸，雷电交加，一道金光闪耀，地上现出红光。顿时，大地连续震动，在轰隆隆巨响声中，裂开一条大缝。只见天上河水倾泻而下，注入裂开的大缝中，形成一湖，名曰“天水湖”。此湖水位稳定，水质纯净，甘冽醇厚，“春不涸，夏不溢，四季滢然”。人说这湖与天河相通，又叫它“天水井”。后来，这个传说被汉武帝听到了，他就给上邽北城的湖旁新设的这个郡，起名“天水郡”。从此，有了“天水”之名。
“天水”，是当地历史上使用时间最长的地名。在天水，有翡翠镏玉的马跑泉，香美胜乳的甘泉，四季不变、袪病健身的温泉，珠帘垂挂的菩萨泉，寒彻沁人的八卦泉，鱼随泉涌的神鱼泉等，分布面广，知名度高。这些泉水水质甜美，四季不断，久饮能使人皮肤洁白。天水居民皮肤多白嫩，因而有天水白娃娃的说法。
秦州之名最早始于魏文帝元年（220年）。
天水是秦的发祥地，自三国以来，在天水以秦字命名的地方很多，如秦安、秦岭、秦州等。
远在西周以前，如今天水河谷盆地土地肥沃，地势开阔，峰青水旺，水草丰茂，就是牧马养畜的好地方。居住在这里的秦人祖先伯益，就因替舜养马繁殖很快，曾得到舜的封土并赐“嬴”姓。到西周时，伯益之后非子又因替周孝王养马有功，受到孝王赞赏。孝王不仅让他继承了舜时伯益的嬴姓，还封其地为附庸，邑之秦（即今清水、张川一带）叫秦地。这就是中国历史上秦国的开端。
在唐开元盛世，秦州是中国西去长安的一大重镇，被称为千秋聚散地，因而名噪一时。
据《大慈恩寺三藏法师传》载，唐玄奘西去印度拜佛取经，曾途经天水，过秦州，停一宿，至今在天水流传着许多唐僧取经的传说。唐安史之乱后第四年，杜甫为回避动乱，也曾毅然弃官，携带家小，越陇山，奔到秦州。开始居住在秦州城东南50里的东柯谷，即现今天水市北道区街子乡八槐村的柳家河（曾名子美村），后移居秦州城内。杜甫在秦州住了三个月，所写《秦州杂诗二十首》以及由陇入蜀的12首纪行诗，在他一生诗词创作中，占有重要地位.
成纪”之名，始自西汉，《汉书·地理志》载，天水郡有成纪县，但宋代以前只是在秦安县境内，宋时才改移天水。
龙城得名与“伏羲氏”有关。
因它是人首龙身的人类始祖伏羲出世之地，是龙的故乡，故天水素有羲皇故里之称。据有关资料证，现天水市西关伏羲庙，首建年代距今已有七百多年的历史。庙内南天殿天花板上绘有完整的64卦及河图图形，这在其它地方是少有的。伏羲是中华民族的始祖，天水本地人把伏羲庙称为“人宗庙”。 西周21前，秦人先祖在天水河谷繁衍生息，后有功于周王室赐姓，受封“秦地”于此。
天水自汉代设郡，先后为军、为县、为镇，所辖区域及治所曾多次发生过变动。
魏文帝之后，称秦州。唐代时为通往长安的交通要道之一。
宋时，改为成纪县。
1913年，废秦州（今天水）设立了天水县，属渭川道所辖。
1927年国民军进驻陇南，废道，改为天水行政督察专员公署。
1949年8月3日，天水解放，设天水分区，1950年设天水专区。
1949年8月3日，天水县解放。8月15日，天水分区行政督察区成立，辖天水、甘谷、武山、徽县、两当、通渭、秦安、清水8县。同年12月，天水分区改称天水专区。
1950年2月，析天水县置天水市，以城区为其行政区域。5月25日，平凉专区析出庄浪县划归天水专区；撤销岷县专区，所属陇西、漳县划归天水专区。天水专区辖天水市及天水、秦安、徽县、两当、武山、漳县、甘谷、清水、庄浪、陇西、通渭11县，81个区公所，614个乡。
1952年，天水专区辖91个区公所，635个乡。
1953年7月6日，张家川自治区成立（1955年10月改称县）。同年底，天水专区辖1市12县887个乡。
1956年1月，天水专区的陇西县、通渭县划归定西专区，武都专区的礼县、西和、成县划归天水专区，天水专区的庄浪县划归平凉专区。同年底，天水专区辖天水市及天水、秦安、礼县、西和、成县、徽县、两当、武山、漳县、甘谷、清水、张家川12县，67个区，531个乡，9个镇，9个街道办事处。
1958年4月4日，撤销两当并入徽县。4月8日，撤销武都专区，所辖宕昌、文县、武都、康县、岷县5县划归天水专区。9月5日，撤销西和县、礼县，合并成立西礼县。撤销徽县、成县，合并成立徽成县。12月16日，天水专区的岷县划归定西专区。12月20日，撤销天水县划归天水市。撤销甘谷县，甘谷、漳县、武山合并成立武山县。撤销张家川县和清水县，合并成立清水回族自治县。同年实现人民公社化，实行政社合一体制。天水专区辖天水市及秦安、清水、武山、西礼、徽成、武都、文县8县。129个人民公社，4个街道办事处。
1961年11月15日，恢复武都专区。原划归天水专区的武都、宕昌、康县、成县、文县仍划归武都专区。12月15日，恢复天水、甘谷、漳县、两当、西和、礼县、清水县和张家川回族自治县。漳县划归临洮专区。至年底，天水专区辖天水市及天水、西和、礼县、徽县、两当、武山、甘谷、秦安、清水、张家川等10个县，60个区，440个人民公社，4个街道办事处。
1963年10月23日，撤销临洮专区，将其所属漳县划归天水专区。天水专区辖1市11县，482个人民公社，3个镇，4个街道办事处。
1969年10月1日，天水专区改为天水地区，辖1市11县，223个人民公社，5个镇，4个街道办事处。
1980年，天水地区辖1市11县，232公社，5个镇，8个街道办事处。1983年，政社分设，改社为乡。
1985年7月8日，撤销天水地区，天水市升为地级市。原属天水地区的西和、礼县、徽县、两当4县划归新成立的陇南地区，漳县划归定西地区。新设秦城、北道2区。天水市辖秦城、北道2区，秦安、清水、甘谷、武山、张家川回族自治县5县，138个乡，11个镇，11个街道办事处。
1992年5月30日，武山县远鸳鸯乡改为鸳鸯镇。
1998年11月16日，北道区甘泉乡改为甘泉镇。
至2010年底，天水市辖秦城、北道2个市辖区，秦安、清水、甘谷、武山、张家川回族自治县5县，40个镇，109个乡，11个街道办事处。
经国务院批准，从2005年1月1日起，秦城、北道区更名为秦州区、麦积区。
