济宁学院第二附属小学原名“曲阜师范学校附属小学”。 始建于1908年，创建之初，曾被著名教育家黄炎培誉为“全国小学之冠”。

百年历程中，学校随着历史风云的变幻几经变迁，曾多次停办，但依旧着力不群，以自强不息的精神在百年历程中积淀了丰厚的精神文化，在不同历史时期都创造了时代的辉煌。1989年9月在万里同志的关怀下复校，1993年迁至曲阜仓庚路现址发展至今。

新时期，附小以“探索孔子教育思想引领下的现代小学教育学校发展模式”为核心任务，坚持以“仁爱”为校魂，以“诚朴、刚毅、乐观”为校训，以“激发潜能、张扬个性、健全人格、追求成功”为育人理念，以培养学生“富有爱心、气质高雅、习惯良好、兴趣广泛、发展全面”为目标，坚持内涵发展，特色办学，以“抓质量、创特色、树形像、促发展”为基本思路，积极塑造“崇真、向善、尚美”的校园风尚，努力建设儒雅校园，培育现代少年君子。开展做少年君子活动、实施校本课程改革、探索发展性目标教学、创建儒雅校园已经成为附小发展的四个特色项目。

学校坚持把培养学生具有“君子品格”作为教育目标，开展丰富多彩的“衣冠整洁、文明礼貌、孝亲敬老、诚实守信、知荣明耻、铸刚毅品格”等少年君子活动；构建校本课程，编撰了《走近孔子》校本教材，依托地域优势，开展经典诵读和综合实践活动等；根据孔子因材施教的教育思想，为促进不同层次和潜能的学生的发展，学校深入进行校本教研活动，积极探索发展性目标教学；同时通过丰富多彩的校园活动，主题鲜明的文化布置，独具韵味的校园环境建设，形成儒雅特色的校园文化。

经过多年的不懈探索附小已经成为有鲜明儒文化办学特色的品牌学校，先进的办学理念与独特的发展之路使学校获得了良好的社会声誉。学校荣获山东省教科研先进单位、省少先队工作规范化学校、省优秀家长学校、省教学示范校、省规范化学校、全国传统文化十佳创新学校、中华优秀传统文化示范基地等称号。