1903年(光绪二十九年)，沂州府知府胡建枢于兰山县琅琊书院旧址设立沂州官立中学堂，郭学濂任监学。初期学制为5年，只设普通班。

1909年，增设文、实两科。

民国建立，改为4年制初级中学。

1913年学校改名为山东省立第十中学，翌年，改称山东省立第五中学。1923年，该校共招生20个班，每班三四十人不等。

1923年，新任校长赵录翰仿照美国实行新学制，初中3年，语文增加白话文，修身改为公民，体操改为体育。庞信一主持校政时(1926～1928年)，多有劣行，加之方永昌部在校内驻兵，学校受损甚重，在校学生仅剩57人。

1928年由徐眉生接任校长，整理校务。将僧庙、洗砚池、南大寺一并划归五中，扩为4个大院，占地359.67公亩，房屋269间，教室、宿舍、餐厅、浴室、礼堂、图书室一应俱全。

1930年秋，学校始招高中班。翌年，中共党员刘德生(刘盛华)考入五中，于次年建立中共五中支部。

“九·一八”事变后，支部因领导组织抗日救亡活动被韩复榘破坏，党员骨干被迫离校，徐眉生愤而辞职。

1934年2月，学校改为山东省立临沂中学，时有3个高中班，9个初中班，417名学生。

1937年12月29日，学校奉命南撤。

1947年底，刘承颁回临沂“复校”。3个月后，即随国民党军队南逃安徽湾止镇，改称山东省立第四临时中学。

1949年4月，学校解体。