Румянцевский музей был создан на основе собрания графа Николая Петровича Румянцева (1754-1826), сына знаменитого полководца Петра Александровича Румянцева-Задунайского. Известный дипломат граф Н.П.Румянцев был по призванию историком и мечтал о музее, где были бы представлены история, искусство, природа России. В собственном особняке, одном из самых красивых зданий на Английской набережной, он разместил огромную коллекцию: рукописи, книги, старинные монеты, археологические и этнографические материалы. А перед смертью в январе 1826 года пожелал передать собрание «на пользу Отечеству и на благое просвещение».
После смерти Н.П. Румянцева, его брат, Сергей Петрович обратился к императору Николаю I, и в 1828 году был учрежден Румянцевский музей. Через 30 лет музей пришел в упадок - было решено перевести его в Москву. Инициатором перевода был попечитель Московского учебного округа Н.В. Исаков. Для размещения музея был предоставлен  самый красивый дворец Москвы - Дом Пашкова на Моховой улице напротив Боровицких ворот Кремля. Дворец был построен в 1784—1786 годах по заказу капитан-поручика лейб-гвардии Семеновского полка Петра Егоровича Пашкова, сына денщика Петра I, на Ваганьковском холме.
    Дом Пашкова имеет интересный палладианский принцип построения – здание скомпоновано из трех архитектурных объёмов: главного корпуса с бельведером, который раньше венчала статуя, и боковых крыльев-флигелей с треугольными фронтонами. Крылья замыкают парадный двор, въезд в который сделан со стороны Староваганьковского переулка и оформлен классической аркой. Главный корпус по двум фасадам украшен портиками с коринфскими колоннами и вазонами на балюстраде.
Дворец сильно пострадал в пожаре 1812 года, а наследники П.Е. Пашкова не спешили его восстанавливать. Но так как он был гордостью первопрестольной, его восстановили за казенный счет, поручив работы архитектору Осипу Бове. В 1839 году наследники Пашкова продали дворец в казну. Здесь разместился Дворянский институт, преобразованный в 4-ю Московскую гимназию. Когда в Доме Пашкова решено было разместить Румянцевский музей, гимназия была переведена на Покровку.
    19 июня 1862 года Александр II утвердил «Положение о Московском публичном музеуме и Румянцевском музеуме» - Румянцевский музей был объединен с созданным в это время в Москве Публичным музеем. Музей несколько раз менял своеофициальное название, но у москвичей он всегда ассоциировался с именем создателя - они  называли музей Румянцевским.
Александр II пожертвовал Румянцевскому музею книги, богатую коллекцию живописи - более двухсот полотен западноевропейских художников и гравюр из собрания Эрмитажа. Но самым крупным даром Императора была знаменитая картина художника А. А. Иванова "Явление Христа народу" - гигантское полотно (5,4 х 7,5 метров) и этюды к нему, специально  приобретенные для Румянцевского музея у наследников художника за 15 тысяч рублей.
«Румянцевский музей создавался в Москве  так,  как создаются храмы Божии – без всяких средств, только жертвами милостивцев», - говорил Н.В. Исаков, ставший первым директором музея. Фонд музея постоянно пополнялся за счет дарителей, среди которых были и члены императорской фамилии, и организации, и частные лица.    
Большую роль в становлении Румянцевского музея сыграл знаменитый предприниматель, меценат и благотворитель Козьма Терентьевич Солдатенков. Он пожертвовал средства на перевозку собрания музея в Москву, и в течение 40 лет ежегодно предоставлял музею 1000 рублей на приобретение книг. В 1901 году после смерти К.Т. Солдатенкова музей получил по его завещанию библиотеку (8 тысяч томов), а также коллекцию русской живописи (269 полотен), несколько скульптур, среди которых “Погорельцы” М.А. Чижова, “Христос” работы М. М. Антокольского - с тем, чтобы создать галерею имени К.Т. Солдатенкова.
За счет пожертвований билет в музей стоил всего 10 копеек, а по воскресеньям вход был вообще бесплатным и посещать его могли все желающие. В музее было 8 отделений: печатных книг, рукописей и редких книг, изящных искусств и классических древностей, христианских древностей, нумизматическое, минералогическое, зоологическое, этнографическое.
В начале XX века в связи с ростом фондов музея и числа посетителей остро встал вопрос об увеличении площадей музея – планировали построить целый музейный комплекс на Моховой улице. Но успели построить только здание Временной картинной галереи – Ивановский зал в Староваганьковском переулке, где и расположилось собрание живописи, в том числе картинная галерея К.Т. Солдатенкова и знаменитая  картина А.А. Иванова.
После революции Румянцевский музей был расформирован. Живописную коллекцию распределили между ГМИИ им. Пушкина и Третьяковской галереей, а все остальные коллекции разошлись по другим профильным музеям. В Румянцевском музее осталась только библиотека, на  базе которой была создана Государственная библиотека СССР имени В. И. Ленина (ныне – Российская государственная библиотека). При строительстве нового здания библиотеки Ивановский зал со стороны Староваганьковского переулка был частично демонтирован, в нем располагалась столовая, а затем складские помещения.
В начале 2000-х годов был отреставрирован и открыт для посетителей Пашков дом, в котором сейчас располагается Отдел рукописей РГБ. А в 2016 году был открыт отреставрированный Ивановский зал РГБ, в котором проходят различные выставки.