泰山书院创建于宋景祐二年(1035年)，位于东岳泰山凌汉峰下。这里古树参天，溪流潺潺。书院旧址所在的五贤祠里，祭祀着石介、孙复、胡瑗三位宋代理学的先驱，史称“宋初三先生”。三位先生都曾在泰山这个钟灵毓秀之地读书或讲学，创立影响深远的泰山学派和安定学派。其学说上承孟子、韩愈，“不惑专注，自寻义理”，下启程颢、程颐，开理学之先声。
石介、孙复、胡瑗同为范仲淹门生，后来又长期在国子监共事。石介，字守道，山东泰安人，是北宋初年著名的思想家、教育家。他在宋天圣八年中进士甲科，历任郓州、南京推官，国子监直讲，回乡时在徂徕山教授《周易》，闻名山东，世称“徂徕先生”。在南京为官时与到访的孙复一见如故，相互引为知己。孙复是山西临汾人，年轻时拜范仲淹为师，学识渊博，石介十分推崇他的学问，将其比为管仲、晏婴，后两人携手创建泰山书院，开创“泰山学派”。
胡瑗，字翼之，北宋著名教育家。他年少时在泰山游学，十年不回江苏老家。据说为专心读书，收到家信后见有“平安”二字即投入涧中不再看，泰山“投书涧”景观由此得名。后来他学成回到江苏主持苏、湖府学，创立“安定学派”，世称“安定先生”。
选址泰山，开宗立派
泰山书院在中国书院史上占有重要的地位。清代史学家、文学家全祖望曾言：“宋世学术之盛，安定、泰山为之先河，程朱二先生皆以为然。”
作为儒家道统的坚定维护者，石介于景祐二年冬在原籍奉符(今山东泰安)筹建书院。他仰慕孙复的学问，请孙复主持书院教学，自己甘愿作为门徒。
起初书院建在泰安岱庙的汉柏院，名曰信道堂。不久，该堂被并入岱庙，二人又到泰山南麓、六朝古刹普照寺西北的栖真寺，在那里修整房屋、招收生徒，讲授孔孟之道，这就是“泰山书院”。
孙复后来虽成一代大儒，但那时他还只是个屡试不第的落魄书生。石介钦佩孙复的才学，拜其为师，执弟子礼甚恭。孔子后裔孔道辅听闻后亲自前往，看到孙复讲学时，石介执杖侍立在侧，“升降则拜扶之”。由于两位创始人的亲身践行，尊师重道在书院蔚然成风。
重塑学风，为国育才
北宋开国初期，刚刚结束五代十国的战乱，教育荒弛。加之自魏晋以降，士子沉迷谈玄论道，“师道之不传也久矣”。石介十分推崇韩愈，重视师道，他常对弟子说，后世耻于求师，学者之大弊也。
在泰山书院，孙复、石介二人言传身教，诲人不倦。石介讲《周易》时，每天向他请教经义的学生络绎不绝，石介总是和颜悦色地一一解答，从来没有显露出不耐烦或是疲倦的神色。孙复认为教化是提升人的素质、修养最重要的手段，儒家要弘扬大道，必先施之于教化。他撰写《易说》64篇、《春秋尊王发微》12卷，孜孜不倦教化后人。
孙复、石介认为，隋唐以来，专以辞赋取士，造成社会上崇尚浮华文辞、空疏无用的学风，他们主张“文为道用”，文章必须为儒家的道统服务。在治学方法上，不拘泥于前代经学家的章句注疏，鼓励学生“不惑传注”，联系时事对儒家经典提出自己的见解，使之前死板保守的治学风气为之一新。
胡瑗学成后，亦回家乡致力教育。他明确提出教育的目的是为国家培养人才，而非只是科举应试之才。胡瑗先后主持苏、湖两州府学，创立闻名天下的“苏湖教法”，后被朝廷太学所采用。“苏湖教法”核心是分斋教学法：设经义、治事二斋。经义斋以研讨儒家经典为主，目的在于培养治国人才;治事斋实行分科教学，有治兵、治民、水利和算数4科，学生需专修一门主科，还要兼修一门副科，以培养专业人才。胡瑗提出“明体达用”的教育宗旨，为后世弟子所信奉，史称“安定学派”。
兴盛太学，开启理学
庆历二年(1042年)，石介、孙复先后被友人举荐，入国子监直讲，二人传播泰山书院的学术、道德，对当时的京城才子、达官贵人形成深刻影响。他们提出太学实行举人发解要有听课日限，放宽太学送考人数等主张，使国子监学生人数从起初的二三十人迅速增至数千人，宋初太学由此兴盛。
皇祐四年(1052年)，胡瑗被授予光禄寺丞、国子监直讲之职，专为太学生讲授《五经正义》。由于学识渊博，教授得法，吸引大量读书人前来求学听讲。他的弟子程颐在《回礼部取问状》中记载：“往年胡博士瑗讲《易》，常有外来请听者，多或至千数人”。
孙复、石介为代表的泰山学派一反汉唐注疏之学的僵化，推动了宋代疑经改经学风的形成，逐渐使汉唐注疏之学转向义理之学。孙复提出“尊王”之议，以明上下之分，正君臣之序;石介高扬儒家之道统;胡瑗创明体达用之学，改变了儒生治经只重训话的习气。他们的思想为理学的产生奠定了理论基础，并对二程产生了直接影响。
“三先生”离开泰山后，弟子们也相继出山为官，泰山书院逐渐停止授业活动，但泰山学风却得以代代流传。明代教育家李汝桂在泰山创建育英书院，继“三贤”而讲学，清代文华殿大学士赵国麟兴复泰山书院，后世相继落址泰山的徐公书院、岱麓书院、怀德书院等，无一不延续泰山书院的精神传统。