山东的名称，最早出现在战国时期，当时，关中的秦人，称崤山或华山以东的地区为山东，有时也泛指秦以外的六国领土。这时，山东是一个地域性的泛称，还不是一个准确的地理概念。至唐代和北宋时代，太行山以东的黄河流域广大地区被称作山东，到了唐代末年，有人用山东专指齐鲁之地。到了金代，设置了山东东、西二路，
山东才真正成为政区名称。明代初期设置山东行省，后改称山东承宣布政司。清朝初年，设置山东省，“山东”正式成为本省的专名。古人以左为东，故又称山东为“山左”。
山东是我国古代文明的发祥地之一。距今约7000--4000年之间，这里先后出现了新石器时代的北辛文化、大汶口文化和龙山文化。这些文化的创造者是诸夏族和东夷族。
夏朝（约公元前21--前17世纪）建立后，“邦畿千里”，有许多方国和部落。今山东地区基本上由人方国（东夷族）控制，著名的部落有薛（今薛城）、蕃（今滕州）、有仍（今济宁市中区）、有缗（今金乡）、三（月傻去立人）（今定陶）、顾（今鄄城）、有莘（今曹县）、有穷（今平原县）、有鬲（今德州市德城区）、过（今莱州）、寒（今潍坊市寒亭区）、斟戈（灌）氏（在寿光东北）、斟寻氏（今潍城区）、费氏（在鱼台）、缯（今在峄城）、杞氏（今安丘）、观氏（今莘县）等。
商朝（约前17世纪--前11世纪）早期曾以今山东西南部为活动中心。商的始祖契都于蕃（今滕州），相土东都在泰山下。以后势力向东发展，越过泗水（今泗河），山东成为其主要活动区域之一。商初定都于亳（今属曹县），后有八次迁都，其中前两次在山东境内。第五次由西而东迁至庇（今郓城），第六次迁到奄（今曲阜）。商王朝的统治区域比夏代广阔，方国也进一步增多。今山东境内的方国主要有奄、薄姑（今博兴）、诸（今诸城）、莒（今胶州）、郯、逢（今青州）、画（今临淄）、顾（今鄄城）、蜀（今泰安一带）、黎（今郓城境内）、莱（今胶东地区）、杞（今新泰）、缯（今苍山）、莘（曹县一带）、任（济宁市中区）等。
西周（约前11世纪--前771年）时代，实行“封邦建国”制度，建立了为数众多的诸侯国。今山东地区封国大约有40多个。其中齐国和鲁国是西周在今山东境内两个最大的诸侯国。它们发达的政治、经济、文化在中国古代历史上曾产生过重大的影响，以至后世将“齐鲁”、“齐鲁之邦”作为山东的古称，近代则以鲁为山东的简称。鲁国是周公的封邑，因周公年迈，由周公子子擒袭封，国于奄（进曲阜）。齐国始封姜尚，初建国都于营丘（今临淄地），六世胡公迁薄姑，七世献公又迁都临淄。鲁国的疆土大致北抵泰山，东过黾蒙，南包凫峄，襟带汶泗；齐国的疆域大致东到海，西到黄河，南至穆陵，北达无棣。齐鲁之外，山东境内还有曹（都陶丘，定陶北）、薛（今滕州城南）、郯（今郯城）、颛臾（今平邑东南）、谭（今章丘市西）、纪（今寿光南）、滕（都滕，今滕州）等几十个国土较小的诸侯国。另外，今鲁西北和鲁西南的部分地区还分属邢国和卫国。
春秋时期（前770年--前476年）诸侯林立，各国征战不已，许多小国相继被吞并。山东地区主要分属齐、鲁两个大国，其它小国还有曹、滕、薛、邾、莒（今莒县）、杞（都淳于，今安丘东北）、牟（今莱芜城东）、郯、郜、阳等，另有部分地区分属卫、宋、晋、邢等国。
战国时期（前475年--前221年）齐国吞并大多数小国，势力强盛，形成与秦东西对峙局面。战国末，今山东大部分地区归齐，只有南部一部分属楚，一部分归赵。
