Klein Orkest is opgericht in 1978, ontstaan uit een mislukt cabaretprogramma. Van de tien mensen uit Het Groot Orkest waren er vier die met elkaar door wilden gaan onder de noemer Klein Orkest. Harrie Jekkers, Niek Nieuwenhuijsen, Chris Prins en Leon Smit hebben met elkaar drie albums neergezet; Het Leed Versierd (1983), Later is al lang begonnen (1984) en Roltrap naar de Maan (1991).

Hun grootste succesnummer was Over de Muur (1984), een lied over het IJzeren Gordijn in Duitsland.

Eind 2016 maakte de band bekend dat ze een reünietour aan het plannen waren: Later is al lang begonnen en vroeger komt nog 1 keer terug. Deze tour hebben ze in 2017 en 2018 uitgevoerd.