Janáček wurde als Sohn eines Dorfschullehrers in Mähren geboren. Er besuchte 1865 das Augustinerstift in Brünn, 1866 bis 1869 die deutsche Realschule und studierte 1869 bis 1872 an der „K.u.K. slawischen Lehrerbildungsanstalt“. 1872 wurde er dort Musiklehrer und leitete verschiedene Chöre.

1874 bis 1875 studierte er an der Orgelschule in Prag, wurde 1876 Chormeister des Philharmonischen Vereins Umělecká beseda (bis 1890) und befreundete sich mit Antonín Dvořák. 1877 wurde er Privatklavierlehrer der zwölfjährigen talentierten Zdeňka Schulzová (* 15. August 1865; † 25. Februar 1938), die er am 13. Juli 1881 heiratete. Zdeňka war die Tochter des Direktors der Brünner „K.u.K. slawischen Lehrerbildungsanstalt“, an der Janáček zuerst studierte, dann auch unterrichtete. Am 15. August 1882 kam Tochter Olga zu Welt. Die Neugeborene war kränklich, und die Eltern trennten sich vorübergehend. Am 16. Mai 1888 wurde der Sohn Vladimír geboren; beide Kinder wurden zeitlebens von Krankheiten heimgesucht und starben jung.

Von Oktober 1879 bis Februar 1880 studierte Janáček am Leipziger Konservatorium bei Oscar Paul und Leo Grill sowie von April bis Juni 1880 in Wien bei Franz Krenn. Am 12. Dezember 1880 dirigierte er die Brünner Aufführung von Smetanas Moldau im Beseda-Haus. Im Herbst 1881 wurde er als Direktor der neuen Orgelschule in Brünn angestellt, die Schule selbst wurde ein Jahr später, am 15. Oktober 1882 eröffnet. Janáček blieb ihr Direktor bis zu seiner Pensionierung 1919; zudem war er 1881 bis 1888 Dirigent der Philharmonischen Gesellschaft.

Am 9. November 1890 starb sein Sohn Vladimír, am 26. Februar 1903 seine Tochter Olga. Es kam zu Ehekrisen. Diese persönlichen Erlebnisse spiegeln sich in seiner Oper Schicksal (Osud) wider. 1904 wurde er als Musiklehrer an der Lehrerbildungsanstalt pensioniert. Im selben Jahr fand die Uraufführung seiner Oper Jenufa statt, mit der Janáček bei ihren Erstaufführungen in Prag 1916 und in Wien 1918 der späte Durchbruch als Komponist gelang.

Der Prager Autor Max Brod verfasste in enger Zusammenarbeit mit dem Komponisten deutsche Übertragungen für fünf seiner Opern und verhalf ihm damit zum Durchbruch auf den internationalen Opernbühnen. Aufführungen auf Tschechisch waren damals außerhalb von Böhmen und Mähren undenkbar und selbst in Prag keineswegs selbstverständlich. Brod stand vor der schwierigen Aufgabe, seinen Text in Einklang zu bringen mit einer Musik, die ganz auf der Sprachmelodie des Tschechischen basiert. Dies war ohne Zugeständnisse des Komponisten nicht möglich, sodass die „deutsche“ Jenufa nicht notengetreu mit der tschechischen übereinstimmt. Brod trug auch durch zahlreiche Veröffentlichungen und eine erste Biografie zum allmählich einsetzenden Ruhm Janáčeks bei.

1917 begegnete Janáček Kamila Stösslová. Die platonische Beziehung zu ihr, die bis zu seinem Tod anhielt, belastete seine Ehe zusätzlich. 1919 wurde Janáček Direktor des neu gegründeten privaten Konservatoriums in Brünn, nach der Verstaatlichung 1920 Professor einer Meisterklasse für Komposition. In seinem letzten Lebensjahrzehnt schrieb er fast alle seine Meisterwerke: Die Opern Katja Kabanowa, Das schlaue Füchslein, Die Sache Makropulos und Aus einem Totenhaus, die beiden Streichquartette, die Sinfonietta und die Glagolitische Messe.

Janáček sammelte Volkslieder seiner Heimat und beobachtete die Sprache seiner Landsleute genauso wie die Laute der Natur. Diese Studien flossen in seine Kompositionen ein, und die sogenannte „Sprachmelodie“ prägte seinen Stil, nicht nur in den Vokalwerken. Er entwickelte eine Theorie der Sprechmelodie. Auf diese Weise wurde Janáček fernab von den Hauptströmungen der europäischen Musik seiner Zeit zu einem der großen Neuerer des 20. Jahrhunderts und zu einem der bedeutendsten Opernkomponisten überhaupt.

Neben seinen Kompositionen und dem Unterricht am Lehrerbildungsinstitut schrieb er regelmäßig Feuilletons für die Zeitung Lidové noviny. Sie erschienen später gesammelt auch in zwei deutschsprachigen Ausgaben.

Janáček starb in einem Sanatorium in Mährisch Ostrau infolge einer Herzlähmung nach einer Lungenentzündung; seine Frau überlebte ihn um knapp zehn Jahre.