Horsens-Bryrup Jernbane (HBJ) blev åbnet den 22. april 1899. Banen var smalsporet med en sporvidde på 1.000 mm. Allerede ved åbningen var der et tæt samarbejde med de øvrige baner, som udgik fra Horsens. Der var et driftsfællesskab med Horsens-Tørring Banen (HTB), idet HBJ benyttede HTBs spor til Lund og man havde fælles station og fælles værksted m.v. i Horsens. Idet banen var smalsporet købte man et antal normalsporede transportører, som man brugte til transporter på DSBs havnebane til Horsens Havn.

I 1929 blev Horsens-Bryrup Jernbane (HBJ) ombygget til normalspor og forlænget til Silkeborg. Ombygningen af Horsens-Bryrup foregik i banens eget regi.

Horsens-Bryrup-Silkeborg Jernbane blev af mange betegnet som en af landet smukkeste jernbaner, men skønhed er desværre ikke altid nok til at overleve. Banen, som i alt var 60,9 km, havde et noget snoet forløb og den direkte afstand ad landevejen mellem Horsens og Silkeborg er da også kun ca. 44 km. På en del af strækningen kører i dag Veteranbanen Bryrup-Vrads.