Il caleidoscopio fu inventato nel 1816 dallo scienziato scozzese Sir David Brewster (1781-1868), un matematico e fisico noto per i suoi vari contributi nel campo dell'ottica. Lo brevettò nel 1817 (GB 4136), ma furono costruiti e venduti migliaia di imitazioni non autorizzate, facendo sì che Brewster ricevesse piccoli vantaggi finanziari dalla sua invenzione più famosa.
Brewster prese il nome dalla sua invenzione dopo le parole greche kalos (bellissimo), eidos (modulo) e Scopos (Osservatore). Così caleidoscopio si traduce approssimativamente in bellissimo osservatore di forme.
Il caleidoscopio di Brewster era un tubo che conteneva frammenti di vetro colorato e altri oggetti graziosi, riflessi da specchi o lenti di vetro disposte ad angolo, che creavano motivi se visti attraverso l'estremità del tubo.
All'inizio del 1870, Charles Bush, un nativo prussiano che viveva nel Massachusetts, migliorò il caleidoscopio e iniziò la moda del caleidoscopio. Charles Bush ottenne i brevetti nel 1873 e nel 1874 relativi a miglioramenti nei caleidoscopi, nelle scatole dei caleidoscopi, negli oggetti per caleidoscopi (US 143.271) e negli stand dei caleidoscopi. Charles Bush fu la prima persona a produrre in serie il suo caleidoscopio da "salotto" in America. I suoi caleidoscopi si distinguevano per l'uso di ampolle di vetro riempite di liquido per creare effetti visivamente ancora più sbalorditivi.
Il caleidoscopio crea riflessi di una vista diretta degli oggetti all'estremità di un tubo, attraverso l'uso di specchi angolati posti all'estremità; mentre l'utente ruota il tubo, gli specchi creano nuovi motivi. L'immagine sarà simmetrica se l'angolo dello specchio è un divisore uniforme di 360 gradi. Uno specchio impostato a 60 gradi genererà un modello di sei settori regolari. Un angolo di specchio a 45 gradi farà otto settori uguali e un angolo di 30 gradi farà dodici. Le linee e i colori delle forme semplici vengono moltiplicati dagli specchi in un vortice visivamente stimolante.