5～9世纪，日本人早已固有自己的音乐文化。虽然早期的绳文时代、弥生时代、古坟时代的音乐未传下来，但根据考古资料和8世纪编纂的《古事记》、《日本书纪》、《万叶集》等文献记载，日本人在古代已有自己的歌谣、舞蹈和乐器。古代和琴张 5弦比 6弦的和琴小，古笛有竹管笛和球形的石笛、陶笛。都豆美鼓的鼓腹为圆筒形。铃有金属制、陶制和木制。铃在当时既作为乐器，也作为装饰品使用。铎出现在公元前1世纪前后，铜铎的形状与中国的钟、铎不同。乐器的基本种类在古代日本已经齐全。进入农耕社会之后，最早有男女相聚歌舞的歌垣（又称嬥歌）以及巫女的音乐舞蹈。　　

　　日本与国外的音乐文化交流源远流长，与亚欧大陆文化的交流主要通过朝鲜和中国进行。公元前已输入青铜器，并出现铜铎。5世纪后半叶～7世纪从朝鲜半岛传入日本的新罗乐、百济乐、高句丽乐，在日本称为“三韩乐”。7世纪初，为振兴佛教，圣德太子鼓励引进大陆音乐，让百济的味摩之定居大和的樱井，向日本少年 (真野首弟子、新汉斋文等人)传授伎乐。伎乐又称吴乐，所用的伴奏乐器有横笛、腰鼓(又名吴鼓)和铜钹。在7～8世纪，中国隋唐时代的音乐传入日本。701年，据《大宝律令》，在治部省管下设置雅乐寮，掌管称为和乐的日本传统乐舞以及外来的音乐舞蹈。752年在东大寺举行的大佛开光典礼上，由雅乐寮和各寺院的数百名乐人、舞人表演日本传统的乐舞以及三韩乐、唐乐、散乐、林邑乐、度罗乐等。这说明日本已开始出现了职业音乐家。