日人治台之初，有感於台灣傳統市場衛生條件不佳，乃著手興建新的市場，西市場即是當時台南的商業建築建設。台南西市場建於日明治三十八年（1905年），位於當時之西門町。
台南西市場是當時南台灣最大之市場，販賣各種雜貨及新鮮貨品，一共有數十個攤位。台南人俗稱其為「大菜市」。日大正九年（1902年），因風害損毀而重建。日昭和八年（1933年），日人為了增進銀座之商業，乃於西市場周圍建築店舖，稱為「淺草商場」，商場內有各式商店，戰後，西市場與西門市場曾經繼續風光一陣子，目前已沒落。
本館建築為中央樓高兩層，兩翼為一層高的L型建築，從建築外部之式樣語彙而言，東、北兩翼主入口、中間次入口與主入口中央法國式屋頂是其中最主要之造型元素。北翼入口開方拱形門洞，兩旁各開一弧形窗，其上置有小牛腿做為裝飾，居中的弧形山牆較兩側水平女兒牆高且寬，並飾有拱心石為視覺焦點，其下並開一圓形氣窗，整體來說，主體部分並無太多裝飾；次要入口為三角形山牆，其上亦有拱心石，山牆兩旁飾以圓球，並無太多裝飾，但有半圓型開口。