本校創立於西元1914年(大正三年)5月11日，原名「臺灣總督府臺南中學校」，為日治時代臺灣中南部最先設立之中學，且主要設定為日籍青年就讀，首任校長廣江萬次郎。西元1922年(大正十一年)，更名為「臺南州立臺南第一中學」。1945年(昭和20年)二戰結束，日治時代終結，總計本校畢業班計五年制27屆及四年制1屆，共有畢業生日本籍2528名、臺灣籍320名。 臺灣光復後，1945年(民國34年)12月5日奉令改為「臺灣省立臺南第二中學」，由省立臺南第一高級中學校長蘇惠鏗先生兼任本校校長，為首任臺籍校長，於12月8日正式接收，因而定此日為本校校慶日。當時因國軍駐在本校，乃向省立臺南女中商借部份校舍臨時辦公，且因日籍員送回國，僅餘少數臺籍學生，奉令將其編入省立臺南第一中學，實際校務陷於停頓。 1946年(民國35年)7月姜子榮校長接掌本校，積極重整校容、推展校務，並進行招生，聘請教職員，於9月6日恢復上課。學制上由四年制中學改制為三年制，成為三三制完全中學，招收男生。姜子榮校長任內填詞創作校歌，委由陸華柏先生作曲。 民國42年9月，本校奉准設立山地補習班，招收國校(小學)男女畢業生。同年12月8日，本校校刊「南二中青年」創刊號發行。民國43～50年由周簡文校長接任，民國44年7月3日因配合政府戰時特殊政策，奉准籌建聯合臺南一中、臺南女中之分校，地點選在台南縣善化鎮，男女兼收。民國45年聯合分部獨立，改為省立善化中學。又本校特於台南縣永康鄉設立分校，專收初中男生。 民國48年，全國大專聯考本校李清木同學榮獲「全國狀元」頭銜，考上臺灣大學醫學系。民國49年全國科學展覽本校榮獲冠軍。民國50年8月政府推行「省辦高中，縣(市)辦初中」，本校奉命專辦高中。 民國50年12月廖傳淮校長就任，民國51年韓聖賢同學於全國大專聯考榮獲丙組魁首。民國53年8月李昇校長就任，民國58年2月，李昇校長調任省立臺南一中，由羅旭升校長接任，題「止於至善」為本校校訓，並逐步完成本校生物館、圖書館及各項校內設施。民國59年為實施九年國民義務教育，初中停招，同年8月1日本校更名為「臺灣省立臺南第二高級中學」。民國67年，羅旭升校長調任教育廳主任祕書，由曹書勤校長接任。 民國71年2月，鄭繼孟校長接任，拆除日治時所建之體育館，改建為現今之明德堂。民國73年12月，鄭繼孟校長調廳服務，由黃炎祥校長接任，任內奉教育部指定本校為高中示範圖書館，出版「台南二中學報」創刊號。76學年度因生活教育績優，榮獲教育部獎，科學展覽應用科學高中組也榮獲第一名。並於任內民國77年8月1日，奉准設立美術實驗班，為中南部第一所實施美術資優教育的學校。 民國79年8月黃炎祥校長調任臺南一中，由蔡瑞榮校長接任第十一任校長，增設電腦教室、視聽教室、語言教室，充分利用媒體進行教學活動，逐步完成全校電腦網路連線，並裝置BBS專線；另籌募「台南二中文教基金」一千萬元，以孳息辦理獎助學金。民國82年舉行創校八十週年慶，特舉辦「傑出校友表揚大會」，計有中研院院士許倬雲先生等31人接受表揚。民國83年亦興建科學館，增加天文台等週邊設備。 民國84年8月陳國偉校長就任。陳校長秉持「師長為先，學生為重」的信念。民國85年配合成功大學資訊系統，成為全省省中第一所連接上台灣學術網路的學校，86年起擔任台灣省高級中學推展資訊教育重點學校。民國87年完成藝能大樓興建。民國89年本校校名改為「國立臺南第二高級中學」，同年主辦全省高中聯招總闈場工作。國民90年陳校長榮調國立臺南高商。 民國90年8月1日，二中教務主任郭伯嘉經由甄選榮任第十三任校長，於97年4月將仁愛樓改建完成。任內積極推動校園e化，培養學生獨立思考能力並建立國際觀。民國90年（2001）8月9日，大學聯考放榜本校錄取率達9成1，創造歷年來新高。民國91年5月15日，選派11位同學前往臺北師大附中交流觀摩學習。民國94年9月28日「好望角」落成啟用，97年4月仁愛樓改建完成，郭校長於同年8月1日榮調國立臺中一中。 民國97年8月1日，王榮發經甄選榮任第十四任校長。本著「健康、活力、創新、卓越、數位、國際化」的辦學理念，實現「全人教育、卓越成長、適性揚才」的教育遠景。任內完成廁所整修、班班架設冷氣、風雨球場的興建，圖書館與勤學樓整建。99學年度，有王宇宸同學應屆考上高醫牙醫系；100學年度，有徐祥雲、陳柏文同學應屆考上高雄醫學大學醫學系及中山醫學大學醫學系；101學年度，三位同學應屆考上醫學系，分別為林宸、張友-中山醫學大學醫學系，郭晉佑-臺北醫學大學牙醫系；102學年度，方永舟、邱士玹同學應屆考上臺灣大學法律系、外文系，再創二中升學巔峯。民國103年完成二中人共同的記憶『小禮堂』市定古蹟的整修工程；並圓滿成功辦理重機掃街、日籍校友返校、學術論壇跨世紀晚會等百年校慶系列活動。王校長於同年榮調國立臺南高工。 民國103年8月，鄭忠煌經遴選榮任本校第十五任校長。以「學生為本，教學為先」的辦學理念；「推動學校再造，營造幸福校園，優質翻轉學習文化」的行動方案，形塑有氣質、有氣度、有氣勢的二中人；期能再創「泱泱二中」新世紀風華。104學年度起普通班招生1/3女生。任內榮獲教育部遴選為FABLAB臺南市中心學校、新興科技智慧校園中心學校。接受國教署委託辦理「十二年國民基本教育課程綱要總綱相關配套實施實計畫」，計有研訂「高級中等學校課程規畫及實施要點」、「高級中等學校課程諮詢教師設置要點」、「教育部國民及學前教育署補助高級中等學校實施十二年國民基本教育課程新增鐘點費要點」等法規。辦理課程諮詢教師專業知能研習，107年計培訓1656位教師取得合格證號。 民國108年8月，林晏旭經遴選榮任本校第十六任校長。林晏旭校長也提到期許接棒後，組成「服務型」行政團隊做學校的後盾，讓老師專心教書、學生好好唸書，再創二中高峰。