Det oprindelige navn var ”De paa Kjöbenhavns Østerfælled opförte Boliger for de ubemidlede Klasser”. Det officielle navn var Lægeforeningens boliger, men i 1984 blev det officielle navn ændret til Brumleby. Man mener at det var fordi det ved byggeriet i 1853 – 57 lå lige op af Østre Fælled, hvor kvæget gik og ”brummede”.

Brumleby blev etableret efter kolera epidemien i 1852, hvor over 5.000 københavnere døde af den frygtede sygdom. Indtil da boede 90% af københavnerne inde bag volden. Men med Enevældens fald og grundloven i 1849, blev det besluttet at åbne byen op. Og det blev tilladt at opføre større byggerier uden for voldene.
Lægeforeningen samlede penge sammen, så de fattigste kunne komme ud af byens slum og bo under sundere forhold. I første omgang blev der bygget 240 1-værelses lejligheder, hvor der boede cirka 900 mennesker. I anden omgang i 1866 – 72 blev der bygget 300 yderligere boliger, så der var 550 boliger der rummede 2500 beboere. Det blev betragtet som luksus i forhold til de trange forhold inde bag volden.
Brumleby blev ved med at være for de fattige indtil Københavns Kommune i 2002, solgte en del til beboerne som andelsboliger. Den almene boligforening KAB udlejer dog en del af boligerne. Men ventelisten er Laaaaaaannnnnnng.