Детство прошло в детдоме, так как отец погиб под Варшавой во время Первой мировой, а мать умерла. Сначала в детдоме они были вместе с братом, но затем их распределили по разным детдомам. С этого момента, т.е. с 1927 года, он потерял с братом всякую связь. Потом, намного позже, он узнает, что брат погиб в самом начале войны, защищая Беларусь, и похоронен под Могилевом. Ивану Андреевичу было 24 года, когда началась война. К этому времени он уже около года прослужил в военном училище. В тот страшный день, находясь на рынке, услышал по радиовыступление Молотова. Иван Андреевич сразу же был направлен в 25-ю стрелковую роту, которая занималась доставкой и снаряжением боеприпасов. На реке Сейм (Украина) боец Скарбиш получил свое первое ранение разрывной пулей в бедро (а вообще за всю войну он был ранен 30 раз). Попал в госпиталь Харькова, оттуда его перевели в госпиталь в Грузию. Комиссовали, на 3 месяца дали 2-ю группу инвалидности. Затем Иван Андреевич был направлен для обороны Калуги, оттуда в штаб Московского военного округа. Стали формировать дивизию для освобождения Смоленска, и Иван Андреевич был назначен начальником батальона. Это был август 1943 года. Война бросала Ивана Андреевича по разным городам и селам. После освобождения Финляндии всю армию перебросили в Краков, и Иван Андреевич участвовал в освобождении многих городов Польши. А ровно за месяц до Великой Победы Ивана Андреевича очень серьезно ранило в оба бедра и, если бы не его отменные физические данные и крепкое здоровье, то парню было бы нелегко все это вынести. Победу он встретил в госпитале в немецком городе Глагау. В начале 1946 года его эвакуировали в Горький. 6 июня 1947 года Ивана Андреевича комиссовали из 1347-го стрелкового полка 225-й стрелковой дивизии в должности старшего адъютанта батальона в звании ст. лейтенанта запаса. За боевые заслуги Иван Андреевич награжден орденами Отечественной войны 1-й степени, Красной Звезды, а также имеет медали имени Жукова и «За победу над Германией». Только в 1955 году он вернулся в родную Беларусь. Купил дом. В 1956 году познакомился со своей женой, Леонидой Федоровной, с которой они прожили душа в душу 33 года. В 1957 году родился сын Виктор.