Он родился на ж/д станции Кульманская Бендерского уезда, но документально его рождение было оформлено в селе Бозиены Кишиневского уезда из-за чего возникла неточность в его биографии.
Григорий Иванович с семи лет был вынужден работать. Он пас скот у железнодорожного мастера, а зимой учился в народной школе. Затем окончил Лапушнянское ремесленное училище, где получил профессию столяра-краснодеревщика. В 1897–1904 годах работал в Киевских железнодорожных мастерских.
Еще в юности приобщился к революционной работе, став активным участником и организатором стачек, митингов, протестных демонстраций, предшествовавших первой российской революции 1905 года. Неоднократно подвергался арестам и ссылкам.
С 1900 г. Г. И. Старый участвовал в революционном движении – меньшевик, член Киевской организации Российской социал-демократической партии (РСДРП) . В 1904 г. за революционную деятельность он был арестован и провел в тюрьме девять месяцев. Г. И. Старый становится профессиональным революционером, работает в Ростове-на-Дону, Николаеве, Кременчуге, Юзовке, Бахмуте, Горловке, Луганске и в других местах.
В 1910 году Г. И. Старый высылается в Бендеры, где устраивается на работу в железнодорожные мастерские. Здесь он установил связи с группой социал-демократов города, в которой активно работали П. В. Добродеев, Ф. Ф. Ганзя, И. В. Турчак, К. И. Ревин и другие. Несмотря на то, что Григорий Иванович как квалифицированный рабочий-железнодорожник был освобожден от мобилизации, в начале 1915 г. его призвали в действующую армию и направили на Юго-Западный фронт (Первая Мировая война 1914-18 гг.).
На фронте Г. И. Старый продолжил активное участие в революционной деятельности и был избран членом солдатского комитета полка. В октябре 1917 года он приехал в отпуск в Бендеры, где возобновил связи с местными социал-демократами. Вернувшись в действующую армию, Г. И. Старый продолжил активно участвовать в революционной пропаганде и по предложению большевиков, был избран членом солдатского комитета фронта. Но официально вступил в Российскую коммунистическую партию (большевиков) в октябре 1918 г.
В конце 1917 года Г. И. Старый в составе военной делегации приехал в Петроград, откуда был направлен военно-политическим руководством Советской России в Одессу на работу по установлению и укреплению советской власти. В начале января 1918 г., как знающий молдавский язык, выехал в Бендеры, где принял участие в обороне города от румынский войск. После аннексии Румынией Бессарабской губернии Г.И. Старый работал в Бессарабском бюро компартии Украины, где занимался связями с бессарабскими и румынскими коммунистами. Но при этом в самой Бессарабии он не находился. И. А. Черкасов, один из авторитетных бессарабских коммунистов, так вспоминал о работе Г. И. Старого в Бендерах:
« Тов. Старый стал идейно и практически руководить нашей организацией как опытный старый революционер, ибо мы имели революционный дух, энергию и силу, а знания подпольной работы и [её] методов у нас не было, так как старых революционеров в Бендерах не было».
В 1920 году Г.И. Старый возглавлял коммунистический партийный комитет Тирасполя и был при это заместителем начальника Закордонного отдела (Закордота), разведки Украинской Советской Республики. Закородот при этом подчинялся ещё Регистрационному управлению Красной Армии (предшественник ГРУ). Закордот занимался организацией агентурной сети в Румынии. Как вспоминал сам Г.И. Старый, одной из целей было продвижение революции на Балканский полуостров.
После образования первой республики в Приднестровье (МАССР 1924 г.) был председателем Центрального исполнительного комитета (главный орган управления, аналог парламента), а затем председателем Совета народных комиссаров (аналог правительства) МАССР.
Как вспоминал Г.И. Петровский, советский государственный деятель:
«Старый твердо придерживался линии ЦК. Я не помню, чтобы у него были какие-либо колебания. Он отличался принципиальностью и скромностью».
В 1937 году Старый был репрессирован. НКВД инкриминировал ему контрреволюционную деятельность и связь с румынскими спецслужбами. В том же году расстрелян. В 1955 году был реабилитирован, все обвинения против Старого признаны необоснованными, а его деятельность на посту главы правительства МАССР охарактеризована как успешная.
В Тирасполе на улице Пушкина сохранился дом № 19, в котором жил Г. И. Старый. Именем Старого в Приднестровье в городе Бендеры и Тирасполь названы улицы, а также локомотивное депо в городе Бендеры.