横須賀美術館が立つ敷地は、三方を緑の山に囲まれた谷戸状の地形を持ち、北側が海に向かって大きく開けている。この恵まれた周辺環境と一体化し、建物の中にいても常にまわりの自然環境を感じることができるような、開放的な美術館である。

建築家 山本理顕（やまもと りけん）の設計による横須賀美術館は、高さを低く抑えるために、建物の約半分が地下に埋め込まれている。海側と山側にそれぞれ芝生の広場を設け、どちらからでも自由に美術館にアクセスし、また、通り抜けることができる。

横須賀市の美術品収集が始められたのは、1985年（昭和60年）のことである。1996年（平成8年）に横須賀ゆかりの洋画家 朝井閑右衛門の作品が一括して市に寄贈され、そのことがきっかけで、美術館建設が具体化することとなった。さらに1998年（平成10年）には、谷内六郎夫人・達子氏から週刊新潮表紙絵が多数寄贈された。1999年(平成11年)には、美術館基本計画策定委員会によって美術作品の収集対象が、近現代の絵画、版画、彫刻とされ、以下の基準によって収集を進めた。

◆横須賀・三浦半島にゆかりのある(出身、居住、在住等)作家の作品
◆横須賀・三浦半島を題材とした作品
◆「海」を描いた作品
◆日本の近現代美術を概観できる作品

その後、市制施行100周年記念事業の一環として、2007(平成19)年4月28日、横須賀美術館が開館した。絵画、彫刻を中心に、約5000点の日本の近現代美術の作品を所蔵している。

同年、第52回神奈川建築コンクール一般建築部門最優秀賞受賞。
2008年、第49回BCS賞（建築業協会賞）受賞。
2010年 2009日本建築家協会賞受賞。

海と緑に囲まれた環境と目の前に広がる東京湾の眺望を持ち、ガラスに覆われて柔らかな光に包まれた建築は、横須賀ならではの周辺環境や地形とも一体化し、「環境全体を使って美術館活動が展開されること」をイメージした当初の建築コンセプトを実現している。