Прва школа у Марковцу почела је са радом давне 1835. године за време владавине Милоша Обреновића. Тада је то била једна од 72 школе које су постојале у Србији у то време. Први учитељ је био Шандор о коме није остало много записа, док су касније учитељи били углавном богослови. Учиo се словенски језик и азбука, а највећи део времена посвећивао се певању црквених песама. У школу  су ишла само мушка деца имућнијих родитеља из Марковца и околине. Прва женска деца полазе у школу 1887. године, а прва писмена жена била је Екатарина Павловић, супруга тадашњег учитеља Јоксима Павловића.

На самом почетку школа није имала своју зграду, па се настава одвијала у приватној кући деде Данила Милојевића коју је он уступио школи. Касније је општина уступила зграду кафане која се налазила на месту споменика пострадалим ратницима- Солунцима.  Поред те зграде налазио се један велики орах,  па је школа по њему и добила назив ‘’Школа код ора’’.

Нова и велика школа у швајцарском стилу подигнута је 1907. године. Прва школска зграда имала је 5 учионица, просторију за наставнике и 2 помоћне просторије. То је садашња стара школска зграда, која се налази са десне стране школског дворишта. Први учитељ у тој школи био је Перо Ђоковић.

Још пре Првог светског рата Марковац је имао народну читаоницу "Књижницу", која је у то време имала 20 чланова.

За време Првог и Другог светског рата школска зграда је коришћена од стране окупатора као касарна, при чему је оба пута била уништена.

Школске 1950/51. године школа прераста у осмолетку чиме осмогодишње школовање  постаје обавезно.

31. маја 1959. године тадашња школа је проглашена огледном школом и добија своје име "Други шумадијски одред", које носи и до данас.

На предлог тадашњег директора школе тај датум је узет као Дан школе и он се свечано обележава сваке школске године. Те године школа оснива и свој први школски лист "Наш полет" који је излазио једном годишње.

Наша школа, каква је била у то време, представљала је пример другим школама. Била је опремљена многобројним кабинетима за наставу: физике, хемије, музичког васпитања, техничког образовања, математике и др., као и просторијама за рад ученика: библиотека, медијатека, модерна фискултурна сала, метеоролошка станица. Поред школских просторија школа је имала и своје пољопривредно имање за узгој житарица и воћњаке које су ученици са својим наставницима одржавали. У оквиру школског дворишта налазила се и мини фарма за узгој кокошака, фазана и других животиња, као и ботаничка башта.

Нова школска зграда,  са 4 простране учионице и две канцеларије, саграђена је 1960. године .

Од школске 1967. год. у састав школе улази и основна школа ‘’Вук Караџић’’ из Новог Села, са издвојеним одељењима у Ракинцу и Пиносави.