岳阳文庙历史悠久，始建于北宋。据《巴陵县志》记载：“宋庆历六年（公元1046年），知府滕宗谅（滕子京）创建。”那时称岳州学宫，为当年岳州“百废俱兴” 之一。文庙建成后，滕子京请好友、文学家尹洙为其撰写了《岳州学宫记》，详细地记述了滕子京建文庙的经过：“滕公凡为郡，必兴学，见诸生，以为政先。庆历四年守巴陵，以郡学府为通道，地迫制单，讲肄无所容，乃度牙城之东，得形胜以迁焉。会京师倡学，诏诸郡置学宫，广生员。公承诏忭曰：天子有意三代之治，守臣述上德，广凤教，宜无大於此，庸敢不虔於是？”“庆历六年（1046年）迁建岳州文庙，兴其官学……”“大其制度以偿之，庙仪既成，乃建阁以聚书，辟室以授经，两序列斋，以休诸生。掌事司仪，差以等制；缮爨浣沐，悉严其所；小学宾次，皆列于外……”。
岳阳文庙今存大成至圣殿，“系砖木混合结构。面阔五间，宽28.17米，进深三间，长19.74米，占地面积548.5平方米。殿高约16米，带前廓。用大墙石柱23根支撑上部建筑，三面砖墙起间隔作用。殿内有18根金柱，其中最大的两根，直径达66厘米，其余略次。大柱立在石墩上，石墩为须弥坐式，上呈仿唐制的樟木垫墩以防潮。柱为梭形，下大上小，前后施明木伏 ，其下置枋，两者之间，加如意形木‘撑拱’，其彩绘图案，保持了宋、明、清三代艺术特色。”从正立面看殿的外貌，殿的上檐置一斗三升拱，下檐则出抱头梁承托。屋顶为重檐歇山式，翘首饰凤，盖琉璃瓦，黄绿相间。脊上饰二龙戏珠的主体陶制装饰，外形庄重。为江南罕有的最古老的文庙，展示了古代劳动人民在建筑艺术上的卓越智慧和创造才能。
文化大革命时期，文庙作为“四旧”遭到破坏。“1985年岳阳市人民政府拨专款一万元，重建1974年批孔运动中拆除的泮湖及状元桥，并全部采用条石砌筑，便于游人参观游览”。“1990年国家文物局拨专款180万元，遵循‘整旧如旧’的原则，组织高水平的技术力量，对大成殿进行保架大修。1994年‘国际儒家文化与当代世界文化走向学术讨论会’在新落成开放不久的文庙举行了盛大的祭孔仪式，20多位专家学者和市党政领导参加盛会。”岳州文庙重现了昔日的风采。
文庙于每年春秋时两次祭祀孔子，群儒官宦届时聚集。庙宇极其尊严，稍有缺损，就必修缮。宋治平年间（1064—1076年），知州赵尚奉旨重建。修葺竣工后，由大理学家胡寅撰写了《岳州府儒学记》。明隆庆《岳州府志》载修葺后规模是：主殿五舍，有殿庭，左右为两院，各七舍，前为戟门，七舍。这样，在滕子京修建的基础上，极大地丰富了文庙的内容，扩大了其规模。尔后，屡有兴废。从北宋庆历六年始建，至清同治十一年最后一次补修，共历时826年，其重建和修葺的次数近30次，文庙才具有相当宏伟的规模。据光绪《巴陵县志》记载：“岳州府学，在县治南高阜，中为大成殿，殿之旁为东西庑，前为大成门，门左为名宦祠，右为乡贤祠，外为棂星门，棂星门外为泮池，周以红樯，左右门书‘德配天地，道冠古今’。殿后为崇圣祠，祠东为明伦堂。”以上建筑设施，从清代末期到民国以来又逐渐废建，今除大成殿外，其余均不存在，有的房屋早已改建为学校教室。
2001年，岳州文庙公布为国家重点文物保护单位。