山県市の山県の名は、山県市の山県の名は、山県郡からきたものだが、「ヤマガタ」の名は、奈良時代にはすでに存在していた。平安時代中期から室町時代中期まで山県郡発祥の美濃山県氏が存在する。これは清和源氏多田頼綱の三男、源国直がこの国を地番としたことから始まる。。美濃山県氏は甲斐山県氏、安芸山県氏それぞれの源氏のルーツとなっており、山県昌景、山縣有朋　といった姓はこの地名に由来する。尚、山県氏の発祥と同時期に土岐郡においては源国直の叔父が土岐氏を興している。ちなみに山県氏や土岐氏の主な紋所は山県市の花でもある桔梗である。
同名の山県郡(広島県）は、同地に流罪にされた源国直が発祥となった地名である。
２００３年４月１日、岐阜県山県郡の、高富町、美山町、伊自良村が合併し、人口１万３千人の市町村として発足した。この合併で山県郡の名は消えたが、都域は、そのまま山県市として継承された。市役所は、旧高富町役場に置かれた。美山、伊自良の町村役場は支所として運営されている。