Il Karabiner 98k fu l'ultimo di una lunga serie di fucili progettati per l'esercito tedesco da Mauser. Tracciando le sue radici con il modello Lebel 1886, il Karabiner 98k discendeva direttamente dal Gewehr 98 (modello 1898) che per primo introdusse una rivista interna a cinque cartucce metallica. Nel 1923, il Karabiner 98b fu introdotto come il fucile principale per i militari tedeschi del primo dopoguerra. Poiché il trattato di Versailles proibiva ai tedeschi di produrre fucili, il Karabiner 98b era etichettato come una carabina nonostante fosse essenzialmente un Gewehr 98 migliorato.
Nel 1935, Mauser passò ad aggiornare Karabiner 98b modificando alcuni dei suoi componenti e accorciandone la lunghezza complessiva. Il risultato fu il Karabiner 98 Kurz (Short Carbine Model 1898), meglio noto come Karabiner 98k (Kar98k). Come i suoi predecessori, il Kar98k era un fucile ad azione a bullone, che limitava la sua velocità di fuoco ed era relativamente poco maneggevole. Un cambiamento è stato il passaggio all'utilizzo di supporti laminati piuttosto che di singoli pezzi di legno, poiché i test avevano dimostrato che i laminati in compensato erano più resistenti alla deformazione. Entrando in servizio nel 1935, oltre 14 milioni di Kar98k furono prodotti alla fine della seconda guerra mondiale.
Il Karabiner 98k vide servizio in tutti i teatri della seconda guerra mondiale che coinvolgono le forze armate tedesche, come Europa, Africa e Scandinavia. Sebbene gli Alleati si spostarono verso l'uso di fucili semiautomatici, come la M1 Garand, la Wehrmacht mantenne il Kar98k a chiavistello con il suo piccolo caricatore a cinque colpi. Ciò era in gran parte dovuto alla loro dottrina tattica che enfatizzava la mitragliatrice leggera come base della potenza di fuoco di una squadra. Inoltre, i tedeschi spesso preferivano usare pistole mitragliatrici, come l'MP40, in combattimenti ravvicinati o in guerra urbana.
Nell'ultimo anno e mezzo di guerra, la Wehrmacht iniziò a eliminare gradualmente il Kar98k in favore del nuovo fucile d'assalto Sturmgewehr 44 (StG44). Mentre la nuova arma era efficace, non fu mai prodotta in numero sufficiente e il Kar98k rimase il principale fucile di fanteria tedesco fino alla fine delle ostilità. Inoltre, il progetto vide anche il servizio con l'Armata Rossa che acquistò le licenze per fabbricarle prima della guerra. Mentre pochi erano prodotti nell'Unione Sovietica, i Kar98k catturati furono ampiamente utilizzati dall'Armata Rossa durante la sua carenza di armi all'inizio della guerra.
Dopo la seconda guerra mondiale, milioni di Kar98k furono catturati dagli Alleati. In Occidente, molti furono costretti a ricostruire le nazioni per riarmare i loro militari. Francia e Norvegia adottarono l'arma e le fabbriche in Belgio, Cecoslovacchia e Jugoslavia iniziarono a produrre le proprie versioni del fucile. Quelle armi tedesche prese dall'Unione Sovietica furono conservate in caso di una futura guerra con la NATO. Nel tempo, molti di questi furono dati a nascenti movimenti comunisti in tutto il mondo. Molti di questi finirono in Vietnam e furono usati dai vietnamiti del nord contro gli Stati Uniti durante la guerra del Vietnam.
Altrove, il Kar98k ha servito ironicamente con l'ebana Haganah e, in seguito, le forze di difesa israeliane alla fine degli anni '40 e '50. Quelle armi che furono ottenute da scorte tedesche catturate furono rimosse e rimpiazzate da tutte le iconografie naziste con IDF e segni ebraici. L'IDF ha anche acquistato grandi scorte di versioni del fucile di produzione ceca e belga. Negli anni '90, le armi furono nuovamente dispiegate durante i conflitti nell'ex Jugoslavia. Sebbene oggi non sia più utilizzato dai militari, il Kar98k è popolare tra tiratori e collezionisti.