Di masa depan yang penuh misteri, organisme kristal yang disebut Gems menghuni dunia yang telah hancur akibat enam meteor. Setiap Gem diberi peran tertentu untuk melawan para Lunarian, spesies yang menyerang mereka demi menghancurkan tubuh mereka dan menggunakannya sebagai hiasan.

Phosphophyllite, yang juga dikenal sebagai Phos, adalah seorang Gem muda dan rapuh yang bermimpi membantu teman-temannya dalam upaya perang. Namun, karena kondisinya yang rapuh, ia malah diperintahkan untuk menyusun sebuah ensiklopedia. Setelah dengan enggan memulai tugas ini, Phos bertemu dengan Cinnabar, seorang Gem yang cerdas yang telah ditugaskan untuk berpatroli di pulau terpencil pada malam hari karena racun korosif yang dihasilkan tubuhnya. Setelah melihat betapa tidak bahagianya Cinnabar, Phos memutuskan untuk mencari peran yang dapat dinikmati oleh kedua Permata yang terbuang ini. *Houseki no Kuni* mengikuti upaya Phos untuk menjadi berguna dan melindungi sesama Permata.