最初创定剑法三个段位者“天地人”也就是“上中下”段的人，据传为二世纪初，日本景行天皇之子“日本武尊”。此说乃是记载于距此六百年后（712年）完成的日本最初之书《古书记》和《日本书记》上的，但书上的内容大多属于类似神话的传说，内容令人怀疑。
到第四世纪中叶，在常陆国鹿岛的国摩真人，创出“神妙剑”的剑法，此即为有名的“鹿岛之太刀”，后世流派多源出于它。
第八世纪末，桓武天皇的皇宫大夫和气清磨，建立武德殿，武人于此练武，始自桓武天皇于至历代“平安朝”的天皇，每年的五月五日，在此举行“天览比赛"。
雏形
二、平安朝末期、镰仓时期——古剑道的雏形
到了平安中叶的十一世纪初，由过去在战场上实战的经验，发现在马上作战时，使用砍斩的机会比刺击多并较有利，也为了利于拔刀，于是将原来单手使用，以刺击为主，砍斩为副的三尺双刃直剑，改变为双手使用，以砍斩为主，刺击为副的单刃弯刀，这也就成为今日“日本刀”的雏形。
平安时代中末期至镰仓幕府建立，日该国内连年的内战客观上促进了古剑术的进步，掀起了第一次古剑术革命，涌现出许多有名剑术武艺家，其中的代表为：
镇西八郎源为朝，剑技凌驾号称“西陲第一”之乃师，复创“阴阳”也即“左右”两个段位，加上原有的“上中下”其五个段位的构型，成为后世的规范。
源义经（幼名牛若丸），“平治之乱”其父源义朝被平清盛所杀，其母被掳并被纳为妾。而义经得免死，被软禁于山城国鞍马寺，读书习武。一日，于后山山谷中，遇上自称为“天狗（我孙子维坤）”的异人传授剑技。义经将其融入日本刀的使用法，成为源家一统的剑法。此剑法遂经其门下，么一法眼的门下八达人，成为有名的“京八流”或称“鞍马八流”，其支流一直流传至今。
镰仓幕府（1185——1333）建立后，作为日本第一个以武士阶级为基础建立的军事政权，大力推崇军事力量及武艺对社会稳定的作用，在此期间剑术、弓术、骑术是三种最主要的武艺。剑术及其他武艺的发展同时受到佛教禅宗思想的深刻影响。禅宗关于自然与生死的概念及人生哲理等与武士阶级生活方式相结合，使古剑术产生了独特的哲学内涵与教育作用。在这一时期，随着剑术的发展，许多以教授武艺为目的的“武馆”和各有特色的“流派”逐渐兴起。
同时攻防的剑技与武具亦益形进步与发达，为了防御战场上强而有力的矢箭，遂必须穿着厚厚的甲胄。而一旦到了白刃战时，为了对付此类甲胄，遂将三尺以上，甚至于达到四至五尺长的太刀，把剑尖垂斜于右或左后，扬剑从斜上方往斜下方砍下，或从斜下方往斜下方挥斩，所以才产生了“胁构”的构型。
发展
三、室町时代、战国时代——古剑道的进一步发展
室町幕府末期长达百年的战国时代大大促进了古剑术的发展。，1544年火绳枪输入日本之后，厚重的甲胄已失去其防护的能力，遂改著用利于进退的轻巧护甲，刀剑的尺寸也改短。由常佩刀（刀刃向下，水平式挂吊于腰带上）改成为刀刃向上，斜插于腰带上，剑技也以攻击颈、喉、腰、腋下、股间与手脚关节等等，护甲所保护不到的地方为主。此时代学习剑法，以真剑、刃引（锻剑时没有嵌入刃锋的刀）、木刀等作“型”的练习。
一代剑圣上泉伊势守信纲，发明以三尺余长的竹子，从留下刀柄的部分，往刀尖方向逐段割成四片、八片、十六片或卅二片，再以厚木棉布作成袋子把它套起来，做成素面素小手，可直接互相击打练习的“袋竹刀”，但一直到后世它除了其传下的新阴流，新当流，和部分一刀流所接纳沿用之外，它的流传并不普遍。
成熟
四、江户时代——古剑道的成熟及近代化过渡
战国过去，经桃山时代进入到江户时代，天下剑豪辈出，武道之兴盛达最高潮。德川幕府的尚武政策使得安土桃山时代剑术发展成果得以保存和深入发展。1764年前后，中西忠藏仿拟头盔，护胸，笼手而发明了面，胴，小手等护套，并将竹子割成四片，加上先革，中结，约丝，柄革，锷而做成竹刀，然后限定打击有护套保护下的任何地方。当时剑术的练习与比赛，这就是现代“剑道”之雏型。但各流各派，仍保有其各自独创之“型”的剑法，故以真刀实战，仍需辅以型的练习，到德川幕府末期，天下的剑法流派，达二百余流之多。大剑豪千叶周作在前人基础上总结出“剑术技を68手”、改进并使用中西派护具竹刀进行日常练习标志着古剑道体系已经完备和成熟，同时为剑道增加了浓厚的艺术色彩。
明治维新后，废藩治县，失去主家的武士们，纷纷沦为浪人。1876年发布除军人警官之外，一般人的带刀禁止令，使原来的武士们，为了生活不得不转事农工商之工作，但却又因不擅其事，以致多陷入衣食无着，生活穷困的地