山西省东依太行山与河北为邻，西隔吕梁山、黄河与陕西相望，北倚长城与内蒙古毗连，南与河南接壤。它是中华民族的发源地之一，有文字记载的历史长达三千余年。
早在新石器时代晚期，山西南部已经成为当时很多邦国的中心，在山西临汾市襄汾县陶寺遗址的研究成果表明，这里是中华始祖帝尧都城所在地，由此可证明山西是华夏文明最早发祥地和中心区域之，所以一直以来，山西被誉为“华夏文明的摇篮”、“中国古代文化博物馆”。
“山西省”得名源于其位置在太行山以西。因为山西大地，外有山内有河，它的东部边界是雄峻的八百里太行山脉，成为黄土高原与华北平原的分界线；西边是自北而南劈开黄土高原的晋陕大峡谷，黄河从内蒙古高原奔泛而下，一泄千里。山西里里外外的大山大河，地势险要、固若金汤，被唐代大文学家柳宗元誉为“表里山河”。
自此，这一美誉不断被后人引用。如南宋爱国诗人陆游诗云：“表里山河古帝京，逆胡数尽固当平”，明朝马中锡曾喟叹“表里山河犹往日，变迁朝市已多年。”
自西汉汉武帝在山西设置并州始，这一称谓在东汉、三国和隋朝一直得到沿用；山西在唐朝的时候大部分属河东道；宋朝时设河东路；金分河东北、南路；元朝设山西河东道，是山西得名的开始；明朝设置山西省，后来又被改为山西布政使司；到了清朝又恢复山西省称呼，一直沿用至今。
山西省的简称“晋”，则源于最早的西周姬姓侯国。相传西周初立，周武王伐姬发纣后不久就去世，年幼的儿子周成王姬诵即位。一天，他与弟弟姬叔虞玩耍，随手削了一片桐叶做成珪（中国古代贵族朝聘、祭祀、丧葬时的一种玉石礼器）的样子给他，说：＂这玩意就封赏给你了。＂
古代讲究皇帝是“金口玉言”，大臣们认为天子无戏言，因此周成王只好把这个地方封给了姬叔虞，史上称＂桐叶封弟＂。后来国君姬叔虞传位于儿子姬變父，因该封地紧邻晋水，另外“晋”字的本义与含有“晋升、晋级”的祥瑞之意，于是姬變父后来改国名为“晋”。
春秋时期，晋国逐步发展强大，在山西境内崛起，渐次兼并了周边小国，在晋文公重耳的管制下成为春秋五霸之一。其实，封建社会著名的基层管理体制——郡县制就是发源于晋国，只是后来由秦将这种制度推广向全国。
到了春秋社会末期，一向称为中原霸主的晋国国君的大权旁落，实权由晋国国内的六家大夫（韩、赵、魏、智、范、中行）把持，他们拥兵自重，纷纷割据，互相攻打，这就揭开了春秋末期以“战国七雄”为主的周室诸侯国征战不止的所谓“战国时期”的序幕。后来范、中行这两家被逐步消灭了，只剩下智伯瑶、赵襄子、魏桓子、韩康子这四家，其中尤以智家的势力最大。
智伯瑶贪心不足，想继续侵占其他三家的土地，并逐步削弱、吞并其余三家，于是他装模作样地对赵襄子、魏桓子、韩康子这三家说：“想我晋国本来是中原霸主，后来竟被吴、越这两个小国夺走了霸主地位。为了使晋国再次强大，我们每家都拿出一百里土地和百姓来归给公家。”
赵襄子、魏桓子、韩康子都知道智伯瑶存心不良，想以扶助国家的名义来吞并他们的土地。无赖三家心不齐，韩康子首先妥协了，把自家的一部分土地和户口割让给智家；魏桓子也是心不甘情不愿地让了。 赵襄子是个硬汉，他坚决不答应，说：“土地是上代留下来的产业，说什么也不送人。” 智伯瑶气得火冒三丈，马上命令韩、魏两家与自己一起发兵攻打赵家。
专擅晋国国政的智伯瑶恃强攻打赵襄子，并胁迫魏桓子、韩康子两家出兵。赵襄子初战不利，退居晋阳固守。智伯围困晋阳两年。危急中，赵襄子派人以唇亡齿寒的道理说服韩、魏两家倒戈，大破敌军，擒杀智伯瑶。三家尽灭智氏宗族，瓜分其地。
后来，韩、魏、赵三家大夫废了原晋国国君晋静公，瓜分晋侯剩余土地，晋国彻底灭亡。不久周室正式承认韩、赵、魏三家晋级为诸侯，史称“三家分晋”。春秋时期的晋国也就被战国的赵国、魏国、韩国三国所取代，晋国成为战国七雄中三大雄主的前身，因为原来晋国的主体基本上在山西，后人就用“三晋”来称呼山西。
