После окончания школы в семнадцатилетнем возрасте вступил в ряды Красной Армии. Затем окончил Ереванское военное училище имени Ал. Мясникяна и поступил на службу в Армянскую горнострелковую дивизию, где служил до 1935 года. 55-я Курская стрелковая дивизия им. К. Е. Ворошилова, начальником штаба которой был подполковник Тер-Гаспарян, участвовала в войне с первых дней. Первый бой она приняла на Слуцком направлении 24 июня 1941 года. После того как 25 июня погиб командир дивизии полковник Д. И. Иванюк, в командование дивизией вступил начальник штаба дивизии Тер-Гаспарян (официально назначен командиром дивизии 14 июля 1941 года). 22 июля 1941 года Геворк Андреевич был награждён орденом Красного Знамени. В наградном листе отмечается: «В боях на Слуцком направлении подполковник Тер-Гаспарян лично руководил операциями дивизии, проявляя стойкость и упорство в бою. В бою за удержание г. Слуцка подполковник Тер-Гаспарян, вступив в командование дивизией, удерживал занимаемую позицию будучи в полу окружении и при прорыве танков противника и выходе их в тыл дивизии в течении 27-29 июня лично вывел оставшиеся части дивизии из окружения.