Колония строгого режима расположена в районном центре Брянской области в 155 км. от г. Брянска. Имеет собственные подъездные железнодорожные пути. Территория Стародубского района, была подвержена радиационному загрязнению вследствие аварии на Чернобыльской АЭС и находится в зоне с льготным социально-экономическим статусом.

Почти в центре города Стародуба находится старинное трехэтажное здание бывшего духового училища, построенное в 70-е годы девятнадцатого века. Теперь это историческое строение является одним из корпусов ИК-5.

До революции в этом массивном особняке учились будущие священники, а с 1932 года здесь располагалась колония для девочек-беспризорниц. С 1943 года на месте будущей пятой колонии функционировала спецтюрьма, в которой находились предатели и пособники фашистов, а по окончании Великой Отечественной и до 1958 года здесь содержали несовершеннолетних преступников.

В 1998 году произошло изменение статуса учреждения - ИК-5  стало колонией общего режима, а с 2016 года - колонией строгого режима. Сегодня в Стародубской колонии уже несколько жилых корпусов, построены также производственные цеха, склады и собственная хлебопекарня. Колонийское предприятие, в основном, специализируется на выпуске автобусных остановок, продукции для собственных нужд (вещевое имущество, хлеб, макаронные изделия), изделий металлообработки (строительные леса, сетка арматурная, дорожные ограничители). Имеются инструментальный, столярный участки, прессовый цех.

Первым начальником мужской колонии усиленного режима стал В.С.Михайлов. После него колонией руководили С.М.Гонтовой, К.К.Никитенко, М.И.Зуйков, Б.К.Реут, Ю.И.Гуцев, В.М.Кондратенко, И.П.Суборев, В.Б.Конойко, В.С.Копылов, А.Л.Капитанов и В.П.Гапеенко, С.В.Половенко, О.В.Зерняев. В настоящее время начальником "пятерки" является Константин Николаевич Шулаков.