Torvet er opstået efter den store bybrand i 1728. Hele kvarteret brændte ned, og bystyret udnyttede lejligheden til at anlægge en plads, til salg af trækul og tørv. Før 1728 blev kullet solgt i Frederiksborggade lige inden for Nørreport, men med Kultorvets anlæggelse fik salget bedre plads. Dem der solgte kullet kaldtes kulsvierne, og mange af dem kom fra Lyngby, hvor de sankede grene som småbrænde som de lavede trækul ud af. De kom ind i byen gennem Nørreport. De var sorte af snavs, og skulle ikke for langt ind i byen. Senere kom der et mælkemarked, for mejeriprodukter.
På Kultorvet ligger et af Københavns ældste værtshuse – Hvide Lam fra 1807. Her er der stadig jazz stort set hver dag året rundt. På torvet lå også den tidligere biograf Klaptræet fra 1977 – 91. Der var tre biografer. Den Lille, Den Mindre og Den Mindste. Her kører der mange film med legendariske Rocky Horror Picture Show i spidsen. I dag er det en bar der hedder Skaal.
Book Bo i Byen til en byvandring, og lær mere om Københavns spændende historie