この堂は、関東地方における鎌倉直系の中世禅宗様建築（中国南宋の建築様式）として、建築史上きわめて重要な建造物である。建立年代は室町時代初期（南北朝時代）の14世紀後半頃と推定される。もとは飯能市白子の長念寺にあったもので、江戸時代の延享元年（1744）に高倉寺へ移築されたことが付（つけたり）の棟札（むなふだ）から判明している。
 方三間・入母屋造りで、放射状の扇垂木（おうぎだるき）による総反り（そうぞり）の軒（全長が曲線のみで設計され、直線部分がない軒）や、象の牙のような尾垂木（おだるき）が軒下に整然と並ぶ二手先（ふたてさき）の精緻な組物、波打つ弓連子（ゆみれんじ）や、花頭窓（かとうまど）、桟唐戸（さんからど）など、禅宗様の外観を見事に備えている。
 また、内部は屋根裏の構造材を意匠として見せる化粧屋根裏となっており、軒下から堂内へと続く扇垂木・尾垂木が、母屋中央にむかって迫り上がってゆくような上昇感と求心性は、中世禅宗様建築の教科書的な特徴を余すところなく完備している。
 鎌倉の円覚寺舎利殿（えんがくじしゃりでん：国宝）や、東京都東村山市の正福寺地蔵堂（しょうふくじじぞうどう：国宝）と、設計寸法や内部構造、細部の意匠に至るまで酷似しており、鎌倉政権が庇護する五山派禅宗寺院の工匠が建築に携わった可能性が高い。なお、この堂がもとあった長念寺には、移築前までこの堂内に安置されていた仏像（木造聖観音菩薩坐像・県指定文化財）が現存しており、その形式は14世紀後半頃に鎌倉で流行した宋風彫刻である法衣垂下像（ほうえすいかぞう：衣の袖や裾を台座の下に長く垂らす像）の典型である。建物・仏像ともに、鎌倉禅宗文化の地方展開を示す貴重な文化財となっている。
（内部は通常非公開）