В сентябре 1940 года был призван на воинскую службу. Служил в Одесской области курсантом школы химиков-инструкторов 34-ого батальона химической охраны. За образцовое выполнение воинских обязанностей было присвоено звание сержанта и назначили командиром отделения. Началась Великая Отечественная война. В срочном порядке был сформирован 136-ой батальон, задачей которого было оперативно ремонтировать разбитые войной железнодорожные пути и обеспечивать бесперебойное движение советских войск на передовую. В случае военной необходимости батальон должен был уничтожать вражеские эшелоны. Первое боевое крещение для ветерана произошло в Калиненской области. В 1942 году Иосифа Александровича приняли в комсомол. С июля 1944 года воевал в составе войск 1-ого Белорусского фронта. Был пулеметчиком. В боях получил тяжелые ранения. после госпиталя вновь вернулся в свое воинское подразделение и вместе с ним принял участие в штурме Кенисберга и Берлина. Награжден орденами Ленина, Красной Звезды и др.