到唐代，山东恢复发展。当时主要属于河南道。开元天宝年间，每年都有几百万石的粟米运至关中，而青、齐（今青州、济南）等地的物价仍远低于中国其他地方。开元年间，“海内富实，米斗之价钱十三，青、齐间斗才三钱。绢一匹，钱二百”。到了唐后期，虽经战乱，但山东农业生产仍在发展，“田畴大辟，库仓充积”。唐代兖州的镜花绫、青州的仙纹绫，都是驰名全国的精美织品。至唐后期，战乱又起。

五代十国时期

五代十国时期（公元907年--960年），山东先后属于梁、唐、晋、汉周政权，行政区划基本承袭唐代。

宋元时期

宋金元时期，山东地区承受的封建剥削尤重，并不断遭受外来的侵扰和野蛮统治，经济处于滞退状态。

北宋（公元960年--1127年）初期，基本仿照唐制，全国分为13道。淳化四年（993年）十月又并为10道。至道三年（997年）改道为路，全国被分成15路，后又有所调整，到徽宗时，全国已设26路，路之下设府、州及带县的军、监，府、州、军、监下设县及不带县的军、监，地方行政区划实行路、府（州、军、监）、县（军、监）三级制。今山东地区属京东东路、京东西路及河北东路的一部。京东东路（治青州）所辖山东境内的有济南府（齐州升，治历城）和青（治益都）、密（治诸城）、沂（治临沂）、登（治蓬莱）、莱（治掖县）、淄（治淄川）、潍（治北海，今潍城）7州；京东西路（治应天府，今河南商丘县）所辖山东境内的有袭庆（兖州升，治瑕县，今兖州）、兴仁（曹州升，治佐城，今定陶西）、东平（郓州升，治郓州，今东平县州城镇）3府和济（治巨野）、单（治单父，，今单县）、濮（治鄄城）3州及广济军（驻定陶）；山东北部地区，分属于河北东路的滨州（治渤海，今滨州市滨城镇北）、棣州（治厌次，今惠民县城）、德州（治安德）、博州（治聊城）及大名府、开德府、沧州、恩州、永静军等。全省设18个州府、1军和90个县。

北宋后期，皇帝昏庸，奸臣当道，宋江等人为了民族大义，天下黎民百姓，在水泊梁山起兵造反（现济宁市梁山县），这个故事被施耐庵编写成《水浒传》，为中国四大名著之一。

宋代在青州设立织锦院，专门织造高级纺织品。宋神宗时，在山东“和买”绢帛，每年达30万匹左右。

金代（公元1115年--1234年）的地方行政区划基本承袭北宋，金国辖区分为19路，在往下分府、州、县，并改京东东路、京东西路为山东东路、山东西路，这是在历史上第一次把“山东”这个古老的地理区域作为行政区划名称。

金元时期，剥削严重，加上受到不断的外来侵扰及野蛮统治，社会与经济处于滞退状态。到元代，山东只有126万人、38万户，与金代相比，人数减少约87%、户数减少约75% 。金代山东人口约1000万，144万户。

金末，为抵御蒙古军队的入侵和镇压山东各地农民起义，金朝统治者命尚书户部侍郎梁镗行六部尚书事于山东，从此有了“山东行省”的名称。后又设立“东平行省”，为行省制度的开端。

元代（公元1271年--1368年），统治阶级为了加强对占领区的控制，沿袭了行省制度，先后在山东地区设立了东平行省、济南行省、山东淮南楚州行省、益都行省、山东行省等。行省下设路、府、州、县，形成了四级地方行政制度。当时山东和河北、山西、内蒙等地作为元朝的“腹里”地区，是中央特区，由中书省直辖，故山东地区没有设立行省，而是直接设路和直隶州。今山东地区设有东平（驻须城，今东平）、东昌（驻聊城）、济宁（驻巨野）、益都（驻益都）、济南（驻历城）、般阳（驻淄川）、等6路，辖曹、濮、德、高昌、泰安、恩、冠、宁海、棣、莱、滨、峄、沂、滕、莒、密、登、胶、潍、博兴、兖、单、济、陵等24州，共辖103县。由于中书省区域太大，因管理之需，在路之上又设立了肃政廉访司和宣慰司作为监察区域。山东地区分属山东东西道宣慰司（驻益都）、山东东西道肃政廉访司（驻济南）及燕南河北道肃政廉访司的一部分。

明清时期

洪武九年（1376年），改行中书省为承宣布政使司，以分领天下州府县；同时废路，省以下设府和直隶州，再下设散州和县，为地方三级行政体制，当时除南、北二京直隶中央外，全国各地分设13个布政使司，山东为其中之一，治济南府，此后，济南一直为山东省会。山东布政使司下辖6府15州89县，大部分县名沿用至今。这6府是：济南、东昌、兖州、青州、登州、莱州。此外，河间府、大名府的部分县也在今山东境内。

明初光复时，山东“多是无人之地”，政府奖励人民垦荒。到洪武二十六年（1393年），山东的耕地面积有7240余万亩，是北宋时期的2.4倍，居全国第三位。1421年永乐皇帝迁都北京以后，京杭大运河沿线的济宁和临清由于漕运的发展而繁荣起来。

明朝地方基本上是三权分立的，承宣布政使司主管一省民政和财政；都指挥使司主管军队；提刑按察使司主管刑法，下设按察分司（又称道），山东境内设3道以统个府、州、县。山东都指挥使司统领境内个卫所驻军，先是组织抗倭和沿海地区的防卫工作，以后随着屯防制度的破坏，逐步兼理民事，变为地方一级政区。明代在山东地区共设有9卫10所，分别是安东卫、鳌山卫、灵山卫、大嵩卫、靖海卫、成山卫、威海卫、任城卫、平山卫和雄崖所、夏河寨前所、浮山前所、王徐寨前所、宁津所、寻山后所、百尺崖后所、金山左所、海阳所、奇山所。

清代（公元1636--1911年），统治者将地方一级政区一律该称为省。除沿用明代13省外，又新置5省，共18省，到康熙年间，山东耕地达到9000余万亩。

近代时期

晚清时期

1860年代，烟台成为山东第一个开放口岸。1895年，在甲午战争中，日军攻占威海，北洋海军全军覆没。1898年，青岛和威海分别租借给德国和英国。德国还修筑了从青岛通往济南的胶济铁路（1905年），和津浦铁路的北段（1911年），把山东当作自己的势力范围。1899年，义和团从山东兴起，攻击遍布全省的西方传教士。光绪时，又增至23省。省行政长官称为巡抚，有些省还设总督。总督有兼管数省者，也有只管一省者。巡抚主管一省民政；总督则主管军政，但也对民政有督导权。省下设府、直隶州、直隶厅，府州之下设县与散州、散厅，形成省、府（直隶州、直隶厅）、县（散州、散厅）三级地方行政管理体制。清末，山东省下设济南、东昌、泰安、武定、兖州、沂州、曹州、登州、莱州、青州等10个府，临清、济宁、胶州等三个直隶州，共104个散县（含8个散州）。省治驻济南，其范围相当于今天的山东全境。清政府还为了监察地方，还设立道作为监察区域，道设在省与府之间，山东有三道，即济东泰武临道、兖沂曹济道、登莱青道。另外，直隶的庆云县、宁津县、东明县也属于今山东。

清末，面对俄国和日本的威胁，东北终于向汉族移民开放，加上民国初年张作霖的鼓励措施，在100年间有为数上千万的山东农民闯关东谋生，成为今天东北人中的重要组成部分。

民国时期

1914年，日军从德国手中夺取青岛。1919年“五四”运动期间，山东人民掀起了声势浩大的反帝爱国运动。“五四”运动以后，山东成立了早期的共产主义小组，1921年，王尽美、邓恩铭参加了中国共产党第一次全国代表大会，成为全国建党最早的省份之一。第一次国内革命战争和第二次国内革命战争时期，在中国共产党的领导下，山东人民在阳谷、高唐、博兴、益都、日照、苍山、昆嵛山等地举行武装暴动，反对新旧军阀和帝国主义的压迫剥削，支援革命战争。

1922年华盛顿会议后归还中国。国民政府从英国手中收回威海。

1928年，山东省撤消道这一级，省直辖107个县。提高省政府驻地也由济南迁至泰安。

1929年4月，青岛被列为特别市，直属行政院。7月，分出历城县县城和城外商埠及其四邻设立济南市（普通市），省政府又迁回济南。10月，国民政府收回威海卫，设立威海卫行政区，直属行政院。

1932年，国民政府办法《行政督察专员公署暂行条例》，规定省以下设行政督察员专署，作为省政府的派出机构。1936年1月，山东全省被划分为12个行政督察区，先后设立济宁、菏泽、临沂、临清、惠民、聊城、牟平等7个行政督察专员公署，辖69县。其余地区未设专员公署，仍直隶于省政府管辖。济南市、烟台特区直隶山东省民政厅管辖。

1937年－1945年的抗日战争中，日军占领了山东的铁路和城市，共产党则在农村建立起沂蒙山、胶东等解放区。抗日战争时期山东人民先后发动了冀鲁边、鲁西北、天福山、黑铁山、牛头镇、徂徕山、泰西、鲁南、湖西等抗日武装起义，创建了胶东、渤海、滨海、鲁中、鲁南五个解放区，至1945年5月下旬，人民武装力量已发展到21.3万人，民兵41万人，在八年抗战中共歼灭日伪军43.9万多人。

抗日战争胜利后，山东人民又配合中国人民解放军，粉碎了国民党军队的重点进攻，进行了鲁南、莱芜、孟良崮、潍县、济南等著名战役。1947年5月，陈毅的华东人民解放军在孟良崮全歼中央军精锐部队张灵甫74师。1948年9月24日，陈毅的部队攻占济南，在寿光俘虏逃往青岛途中的山东省主席王耀武。1949年6月2日，美军从青岛撤退后，解放军进驻该城。

新中国时期

中华人民共和国成立初期，山东西部、河南北部、河北南部新成立平原省，包括今山东省菏泽、聊城等地，1952年撤销该省，将其辖区并入山东、河南。

1953年6月，滕县专区更名为济宁专区。7月，撤销湖西专区和沂水专区，将其所属县市分别划归济宁、菏泽和临沂专区。

1953年8月，徐州市、连云港市及所属各县划归江苏省。

1954年12月，撤销淄博工矿区，设立淄博市。

1958年，莱阳专区更名为烟台专区。

1960年，撤销峄县，设立枣庄市。

1963年，河南省东明县划归山东。

1964年，范县划归河南。1965年，馆陶划归河北，河北省的宁津县、庆云县划归山东。

1967年，专区更名为地区，全省共辖德州、惠民、昌潍、烟台、临沂、泰安、济宁、菏泽、聊城9个地区，济南、青岛、淄博、枣庄4个省辖市，5个县级市，107个县。

1981年5月，昌潍地区更名为潍坊地区。

1982年11月，设立省辖东营市。

1983年，撤销烟台地区、潍坊地区、济宁地区，设立地专级烟台市、潍坊市、济宁市。

1985年，撤销泰安地区，设立地专级泰安市。1987年，威海市升为地专级市。

1989年日照市升为地专级市。

1992年，惠民地区更名为滨州地区，莱芜市升为地专级市。

1994年，撤销临沂地区、德州地区，设立地专级临沂市、德州市。

1997年，撤销聊城地区，设立地专级聊城市。

2000年，撤销滨州地区、菏泽地区，设立地专级滨州市、菏泽市。