大倉集古館は、明治から大正時代にかけて活躍した実業家・大倉喜八郎（1837〜1928）が設立した日本で最初の財団法人の私立美術館である。喜八郎が生涯をかけて蒐集した日本・東洋各地域の古美術品と、跡を継いだ嫡子喜七郎（1882～1963）が蒐集した日本の近代絵画などを中心として、国宝3件、重要文化財13件及び重要美術品44件を含む美術品約2500件を収蔵している。

大倉喜八郎は明治維新以来、産業の振興、貿易の発展に力を尽くし、育英・慈善事業に多く功績を残している。一方文化財の海外流出を嘆いてその保護とわが国文化の向上に努め、古美術の蒐集を始め、明治35年（1902）に赤坂自邸内に大倉美術館を建て、訪問客の観覧に供した。その後、大正6年（1917）8月、50余年にわたって蒐集した多数の文化財、土地、建物及び維持基金を寄付し、東京都港区虎ノ門に財団法人大倉集古館が誕生した。

しかし大正12年（1923）の関東大震災により、当初の建物と陳列中の所蔵品を失っている。幸い倉庫は無事であったため、残された作品を基本とし、伊東忠太博士の設計による耐震耐火の陳列館を建築し、昭和3年（1928）10月再開館。その後所蔵品も増加し、さらに嫡子喜七郎（1882～1963）が父の遺志を継いで、館の維持経営を支援し、自ら多年蒐集した名品、特に近代絵画多数を寄付することで館蔵品の充実を図っている。

第二次世界大戦に際しては幸いにも空襲の難を免れた。昭和35年（1960）に財団法人大倉文化財団と改称し、平成23年（2011）には公益財団法人大倉文化財団として現在に至っている。

昭和30年代には隣接するホテルオークラの建設に伴い建物が整理され、同37年（1962）に第一次の大規模な改修工事を行った。中国古典様式の名作である展示室は、平成2年（1990）には東京都の歴史的建造物に選定されている。次いで平成9年(1997)には内壁や展示ケースを中心とした第二次の改修工事を行い、翌年には国の登録有形文化財となる。さらに平成26年(2014)から約5年半をかけて地下の増築を含む改修工事を行い、令和元年(2019)9月、The Okura Tokyo とともにリニューアルオープンしている。

建築設計を担当した伊東忠太博士（1867～1954）は、日本近代を代表する建築家・建築史家であり、主な作品には平安神宮、兼松講堂、大倉集古館、祇園閣、靖国神社神門、築地本願寺、湯島聖堂などがある。