Sulla base di reperti archeologici, è stato ipotizzato che l'attività ominide in Giappone risalga al 200.000 a.C. quando le isole erano collegate alla terraferma asiatica. Sebbene alcuni studiosi dubitino di questa prima data per abitazione, la maggior parte concorda sul fatto che intorno al 40.000 a.C. la glaciazione aveva ricollegato le isole con la terraferma.
Sulla base di prove archeologiche, concordano anche che tra il 35.000 e il 30.000 a.C. L'Homo sapiens era emigrato nelle isole dall'Asia orientale e sud-orientale e aveva modelli consolidati di caccia e raccolta e fabbricazione di utensili in pietra. Strumenti di pietra, siti di abitazione e fossili umani di questo periodo sono stati trovati in tutte le isole del Giappone.
I modelli di vita più stabili hanno dato origine a circa il 10.000 a.C. al Neolitico o, come sostengono alcuni studiosi, alla cultura mesolitica. Forse antenati lontani degli aborigeni Ainu del Giappone moderno, i membri dell'eterogenea cultura Jomon (circa 10.000-300 a.C.) hanno lasciato il più chiaro reperto archeologico. Nel 3000 a.C., il popolo Jomon stava realizzando figure e vasi di argilla decorati con motivi realizzati impressionando l'argilla bagnata con un cordone intrecciato o non intrecciato e bastoncini (Jomon significa "motivi del cordone intrecciato") con crescente raffinatezza. Queste persone usavano anche strumenti in pietra scheggiata, trappole e archi ed erano cacciatori, raccoglitori e abili pescatori costieri e di acque profonde. Hanno praticato una forma rudimentale di agricoltura e hanno vissuto in grotte e successivamente in gruppi di abitazioni temporanee poco profonde o case fuori terra, lasciando ricchi spazi di cucina per il moderno studio antropologico.
Alla fine del periodo Jomon, secondo studi archeologici si era verificato un drammatico cambiamento. La coltivazione incipiente si era evoluta in sofisticata agricoltura della risaia e controllo del governo. Molti altri elementi della cultura giapponese potrebbero anche risalire a questo periodo e riflettere una migrazione mista dal continente asiatico settentrionale e dalle aree del Pacifico meridionale. Tra questi elementi ci sono la mitologia scintoista, le usanze matrimoniali, gli stili architettonici e gli sviluppi tecnologici, come lacche, tessuti, lavorazione dei metalli e fabbricazione del vetro.
Il successivo periodo culturale, lo Yayoi (dal nome della sezione di Tokyo in cui le ricerche archeologiche hanno scoperto le sue tracce) fiorirono tra il 300 a.C. circa e 250 d.C. dal sud del Kyushu al nord di Honshu. Le prime di queste persone, che si pensa siano emigrate dalla Corea nel nord del Kyushu e si siano mescolate con il Jomon, hanno anche usato strumenti di pietra scheggiata. Sebbene la ceramica dello Yayoi fosse tecnologicamente più avanzata, era più semplicemente decorata degli articoli Jomon.
Gli Yayoi fabbricarono campane, specchi e armi cerimoniali non funzionali in bronzo e, entro il I secolo d.C., strumenti agricoli e armi in ferro. Man mano che la popolazione aumentava e la società diventava più complessa, tessevano tessuti, vivevano in villaggi agricoli permanenti, costruivano edifici in legno e pietra, accumulavano ricchezza attraverso la proprietà terriera e lo stoccaggio del grano e sviluppavano classi sociali distinte. La loro cultura irrigua del riso umido era simile a quella della Cina centrale e meridionale, e richiedeva pesanti input di lavoro umano, il che portò allo sviluppo e all'eventuale crescita di una società agraria altamente sedentaria.
A differenza della Cina, che ha dovuto intraprendere grandi opere pubbliche e progetti di controllo delle acque, portando a un governo altamente centralizzato, il Giappone aveva acqua abbondante. In Giappone, quindi, gli sviluppi politici e sociali locali erano relativamente più importanti delle attività dell'autorità centrale e di una società stratificata.
Le prime notizie scritte sul Giappone provengono da fonti cinesi di questo periodo. Wa (la pronuncia giapponese di un antico nome cinese per il Giappone) fu menzionata per la prima volta nel 57 d.C. I primi storici cinesi descrissero Wa come una terra di centinaia di comunità tribali sparse, non la terra unificata con una tradizione di 700 anni come stabilito nel Nihongi, che pone le fondamenta del Giappone al 660 a.C..
Fonti cinesi del terzo secolo riferivano che il popolo Wa viveva di verdure crude, riso e pesce servito su vassoi di bambù e di legno, aveva relazioni vassallo-padrone, riscuoteva tasse, aveva granai e mercati provinciali, batteva le mani in adorazione (qualcosa ancora fatto nei santuari shintoisti), ebbe violente lotte per la successione, costruì tumuli di terra tomba e osservò il lutto. Himiko, una donna sovrana di una prima federazione politica conosciuta come Yamatai, fiorì durante il terzo secolo. Mentre Himiko regnava come leader spirituale, suo fratello minore svolgeva affari di stato, tra cui relazioni diplomatiche con la corte della dinastia cinese Wei (220-65 d.C.).