虞舜時期，平遙古城境域?qū)俨⒅荨４笥碇嗡?，屬冀州。西周時期，境域內(nèi)封有“蓐”諸侯國，為并州屬地。西周宣王時期（前827年～前782年），尹吉甫北伐獫狁，駐兵于境域東北，因隘不能容，展筑西北二面，始建古平遙城池。春秋時期，境域置中都邑，屬晉。戰(zhàn)國時期，境域?qū)仝w。秦漢時期，置平陶縣，屬太原郡。三國曹魏時期，屬西河郡。北魏始光元年（424年），因避北魏太武帝（拓跋燾）名諱，將平陶縣改為平遙縣。作為縣治所在地的平陶城隨之改為平遙城。后因西羌內(nèi)侵，將平遙縣從文水縣西南徙置汾河以東京陵縣境，廢京陵縣入平遙縣，平遙城亦遷至此址。唐武德二年（619年），屬介州，后平遙縣城被劉武周引突厥兵攻陷。唐貞觀元年（627年），屬汾州。北宋建隆元年（960年），宋太祖遣將李繼勛率軍進攻北漢，焚毀平遙縣城，后重建。北宋靖康元年（1126年），金左副元帥率軍6萬進攻平遙縣城，北宋援軍5000余人、居民100余戶長期抵抗后，城被攻陷。明洪武二年（1369年），大水成災(zāi)，沖垮西城墻。洪武三年，重建、擴修平遙古城，周圍十二里八分四厘，崇三丈二尺，濠深廣各一丈，門六座：東西各二、南北各一，后建敵臺窩鋪四十座。明隆慶三年（1569年），知縣岳維華增敵臺樓九十四座，俱用磚砌，于六門外各修吊橋，各立磚門，皆立臥石，上刊二字，東門二：一曰械口，一曰口順。西門二：一曰刺口，一曰威敵，南門曰焚口，北門曰洗戎。設(shè)僉夫防守各垛口，設(shè)團總官四員督之，其衣裝、盔甲、火器、火藥、鉛子、弓弩之類，無不備具，教場內(nèi)立碑紀(jì)焉。

明萬歷三年（1575年），知縣孟一脈用磚石包城四面；萬歷五年（1577年），知縣董九仞廣植樹木，于四壕修葺圮壞；萬歷二十二年（1594年），知縣周之度申請撫按巡查，動本縣民壯修筑東、西甕城者三，皆以磚石。萬歷二十三年（1595年），平遙縣屬汾州府。清初，平遙古城仍屬汾州府。清康熙二十二年（1683年），地震使城垣塌毀，民房圮壞，人畜傷亡；康熙二十三年（1684年）七八月間，因霪雨損壞，知縣奉天黃汝鈺捐俸補修，屹然完固，共計城墻二十五丈，城垛一百二十三堞；康熙二十七年（1688年），平遙知縣黃汝鈺重修古城市樓；康熙三十五年（1696年）七月，知縣王杰補修南門甕城二丈；康熙四十二年（1703年），康熙西巡路經(jīng)平遙，知縣王綬修四方大城樓迎駕；康熙三十六年（1697年）六月，補修下東門北外城小樓一座；本年六月二十八日，補修上東門外南城六丈余；康熙三十七年（1698年）三月，補修北城四丈余；康熙三十九年（1700年）四月，知縣王綬補修西城二丈余；康熙四十年（1701年）七月，補修上東門甕城；康熙四十一年（1702年）五月，補修北面城二丈余、小城樓一座；康熙四十二年（1703年）四月，補修南外城二十余丈；皇上西巡大駕經(jīng)過，建修四面大城樓；康熙四十三年（1704年）正月，補修南外城三十五丈；康熙四十四年（1705年）四月，補修上東門大門樓并門洞。清代中后期，平遙古城由于長期未經(jīng)修理，以致墻垣坍塌，敵樓傾圮，濠橋填塞。清道光三年（1823年），中國第一家票號——日升昌在古城西大街成立，此后，票號增至20多家，平遙古城成為全國金融中心。在城內(nèi)大興土木，一座座豪宅大院在古城內(nèi)落成，市樓、城墻、廟宇等公共建筑設(shè)施得到捐資修葺。道光三十年（1850年），邑侯劉公（劉敘）蒞任，“太平天國”義軍崛起，為應(yīng)對農(nóng)民起義，即邀董事諸紳捐貲重修，一舉補筑東西北門并將南門增高數(shù)尺，四隅角樓也加大了高度與體量，并予重修，敵樓也照舊數(shù)重建，同時擴寬了護城濠道。清咸豐六年（1856年）冬，平遙古城重修工程竣工，工料之費十二萬緡有奇。民國元年（1912年），平遙縣衙改為縣公署。古城內(nèi)出現(xiàn)新式學(xué)校和現(xiàn)代工業(yè)。民國二十二年（1933年），平遙縣公署改為縣政府。民國二十六年（1937年），“七七事變”前，平遙城墻隨時修補。11月9日，日寇侵占平遙古城，半月后撤離。民國二十七年（1938年）2月13日，日寇第二十師團包圍平遙城，炮轟開太和門南一段城墻，東南角城墻被炸毀，占領(lǐng)全城，殺害城內(nèi)外軍民近千人。 [27]民國三十四年（1945年），日寇投降，軍閥閻錫山派軍盤踞古城。