集雅軒乃北管支系，集雅軒最早由地方人士蔡及，陳真，吳石等十二人参加笨港媽祖繞境活動而發起組成。在咸豐年間正式開管，集雅軒是由更早期北管子弟戲團「和樂軒」分出的團體，是笨港頗有名氣的北管子弟戲團。集雅軒經由最初牌場、出陣，吸收的會員日漸增加，財源穩定後聘請老師教戲。日治時期打下演戲的基礎，大正12年左右，更是興盛一時。
早期子弟戲並無會館，行頭放置朝天宮。集雅軒分配在觀音殿，戲服則在開山廳，其戲服、彩牌、托燈、骨架等文物，皆精心製作之佳品。至於演練、套戲需另覓場地。在歷經無數光賢出錢出力、辛苦耕耘後，在經濟許可之下，終於在民國37年（1948年）於現址買了傳統二落木造民宅，祖師爺西秦王爺才有落腳處與練習場所，並得以保存戲服、綵牌、拖燈、鼓架、上百年純手工刺繡大旗、戲曲曲譜等文物。
集雅軒會館本來面臨蕃簽市古街，但博愛路拓寬拆去其中一落，目前以第一落背面作為門面。入口開放三門，前段作為練習場所
，館內入門樑柱有當地畫師精心彩繪的八仙圖，神龕後面有歷史悠久的手繪麒麟圖，後屏設龕供奉祖師爺西秦王爺－唐明皇，為少數的泥塑雕像，已有150年歷史。館內地板為清朝時期磚塊，因燒製過程中因比熱影響，產生出手印，又稱手印磚，在左邊則奉祀先輩神主牌位，館內珍藏文化樂器眾多，存有一上百年純手工刺繡大旗及多本戲曲曲譜，其「集賢妙舞」之受贈匾額為當時民國43年受邀士林官邸慶祝總統華誕，由士林集英社所贈送，特顯珍貴。
台灣光復後，集雅軒以深厚的民眾基礎再度招募新會員，民國40年，可說達到全盛時期。包含站山（出錢的地方人士）、藝員（前後台演出者）共有一百六十人之多。媽祖轎班會、舖戶做平安戲、迎媽祖熱鬧陣等，都被邀請出陣或上棚，尤其是每年農曆3月19日，動用最多人力、物力及龐大陣容隨媽祖的神轎出巡。在最興盛的時期，人手可分雙陣，一陣參加遶境，一陣演戲。學戲的人多到可以出雙棚戲，雙棚演員同時在加大的戲台上演戲，且戲碼有鳳鶴樓、忠義節等大戲。一棚演員就需二、三十人，其盛況可知。民國四十六年，曾被邀請到士林參加故總統蔣公六十八歲生日盛會，是集雅軒重要的歷史紀錄。
