遠山記念館は、埼玉県比企郡川島町の出身で、日興證券（現SMBC日興証券）の創立者 遠山元一（とおやまげんいち 1890～1972年）の遺志により創立した美術館である。国の重要文化財である建造物の保存・公開、及び重要文化財6点を含む美術・工芸に関する資料の公開を行っている。

のどかな田園風景の中にある遠山邸は、遠山元一が、幼い頃に没落した生家を再興し、苦労した母・美以の住まいになるようにと、昭和8年(1933年)から2年7ヶ月の歳月を費やして完成させた大邸宅であり、昭和11年(1936年)に竣工している。当時の最高技術を持った大工、左官らによって、全国から集めた、今日では手に入れることのできない材料をふんだんに用いて建てられた。戦後、母美以の没後は、日興證券の迎賓館として使われた。元一は晩年に、遠山邸は私邸でありながら、文化財的価値があると考えるようになり、その保存継承のために財団法人の認可を受けて、昭和45年(1970年)から遠山記念館として一般公開を始めた。また平成30年（2018年）には、「近代和風建築」と呼ばれる近代の高級住宅建築の一群の中でも、遠山邸が建材と技術の両面において傑出していると高く評価され、国の重要文化財に指定された。

遠山邸は3つの棟を渡り廊下で連結するプランで建てられた。東棟は生家を再興したことを象徴する豪農風、中棟は来客を接待するための格式のある書院造りの大広間。18畳ほどの広さがあり、床の間を背に3方に展開する庭の景色を堪能することができる。西棟は母のために数寄屋造りの座敷を設けている。土蔵や長屋門を加えると、総建坪は400坪近くになる3つの棟が建築様式を異にしていながら、全く違和感がなく溶け込んでいる。建築技術と細部の意匠はいずれも伝統に忠実に、木材、壁、建具や畳などの材料も充分に吟味され、自然素材の持ち味が保たれている。

遠山元一が蒐集した美術工芸品を母胎とするコレクションは、日本と中国の書画・陶磁器、人形、染織品、世界の工芸品と染織品など、11,000点に及ぶ。先祖伝来の美術品ではなく、昭和11年竣工の遠山邸の8ヶ所の床の間を飾るための書画工芸が集められた。平安時代のかなの名筆「寸松庵色紙」、鎌倉初期の「佐竹本三十六歌仙絵」をはじめ、江戸時代の文人画 岡田半江「春靄帰鴉図」や、英一蝶｢布晒舞図｣は、国の重要文化財に指定されている。

また、昭和45年の遠山記念館の一般公開にあわせて、古代オリエントやアンデスの工芸、染織品などを追加して蒐集している。その後も多彩な染織品を拡充して、現在コレクションの約7割は世界各地の染織品となっている。生活の中から生まれたものに美を見出していこうとする、元一の志向を受け継ぐ作品群である。これら時代と地域の多岐にわたる美術品を、年間6回にわたり展覧会を行っている。