Jauh di dalam hutan tropis, Yaiba Kurogane muda dengan tekun berlatih ilmu pedang bersama ayahnya, Kenjuurou, yang sama sekali tidak mengenal dunia modern. Namun, suatu hari, keduanya berakhir di sebuah kontainer dalam perjalanan ke Jepang. Di sana, mereka bertemu dengan saingan lama Kenjuurou, Raizou Mine, dan putrinya, Sayaka. Karena tidak ada pilihan lain, Yaiba menyetujui sebuah kesepakatan dengan keluarga Mine: jika dia mengalahkan murid terkuat di dojo mereka, dia akan dipersilakan untuk tinggal.

Dengan menggunakan keahliannya yang khas dan kekuatannya yang luar biasa, Yaiba mendapatkan tempatnya. Ingin melawan musuh yang lebih kuat, Yaiba mengikuti Sayaka ke sekolah-di mana dia dengan cepat kalah dari Takeshi Onimaru dan mengakuinya sebagai saingan barunya. Dengan Onimaru mewarisi pedang dari garis keturunannya dan mendapatkan kekuatan iblis, Yaiba harus berlatih untuk menjadi lebih kuat dan mengalahkannya untuk selamanya.