Przyszły generał urodził się w Rzeszotarach k. Świątnik Górnych, ukończył gimnazjum w Nowym Sączu, w 1875 r. zgłosił się na ochotnika do służby w cesarsko-królewskiej armii, gdzie po ukończeniu szkoły oficerskiej służył niemal przez dwie dekady. Szybko awansował, w 1910 r. uzyskał pułkownika i otrzymał dowodzenie 13 Pułkiem Piechoty. Niebawem jednak z racji wieku przeszedł w stan spoczynku.
Żołnierska emerytura
Jednak jego dalsze losy dalekie były spokoju emerytowanego oficera. W sierpniu 1914 r. wybuchła pierwsza wojna światowa. Po fiasku powstańczych planów Piłsudskiego inicjatywa przeszła w ręce galicyjskich polityków, którzy poprzez Naczelny Komitet Narodowy podjęli działania leżące u podstaw Legionów. Pułkownik jako doświadczony oficer objął dowodzenie nowo powstałym 2. Pułkiem Piechoty Legionów, z którym odbył zimową kampanię w Karpatach. W warunkach wojennych odznaczał się oficerską rzetelnością połączoną z szacunkiem dla podkomendnych. Doceniany przez zwierzchników i podwładnych w 1916 r. stanął na czele Grupy Komendy Legionów (organizującej m.in. werbunkowe i szkoleniowe zaplecze dla legionów), a w grudniu objął dowództwo III Brygady.
W Legionach
Historia Legionów to nie jedynie współpraca, ale także częste spory i konflikty, m.in. pomiędzy Piłsudskim a lojalistycznie nastawioną Komendą. Zieliński, dla którego celem najważniejszym było budowanie wojska polskiego, stronił od polityki. Cenił Piłsudskiego, jednak daleki był od jego polityki. Dlatego w lipcu 1917 r., już jako Komendant Legionów, nie poparł odmowy złożenia przysięgi przez legionistów, pozostając wiernym idei zachowania silnego wojska.
Zieliński próbował za wszelką cenę ratować polskie formacje – był autorem projektu powrotu Polskiego Korpusu Posiłkowego pod dowództwo austriackie, na czele którego ostatecznie stanął jesienią 1917 r. Gdy po zawarciu przez państwa centralne traktatu z Ukrainą oddającego tej ostatniej Chełmszczyznę w Korpusie zawrzało, generał sprzeciwił się planowi przejścia przez front na stronę rosyjską w lutym 1918 r. Został wówczas internowany przez własnych żołnierzy, którzy ze łzami w oczach zatrzymali cenionego dowódcę. Jednak w trakcie procesu legionistów w Marmaros-Sziget Zieliński bronił swoich podwładnych.
W armii Niepodległej
W 1918 r. oczywistym było, że armia odradzającego się państwa musi być zbudowana nie tylko na entuzjazmie ochotników, ale również na doświadczeniu oficerów, którego nabyli oni w armiach zaborczych. W listopadzie 1918 r. Zieliński objął dowodzenie okręgu krakowskiego, brał udział w walkach z Ukraińcami o Lwów i Przemyśl. Potem otrzymał dowództwo okręgu poznańskiego. W czasie wojny 1920 r. kierował 3. Armią, która po wycofaniu się z Kijowa, zmagała się z ofensywą Budionnego, a następnie osłaniała kontruderzenie Piłsudskiego znad Wieprza. Sam Piłsudski doceniał zasługi generała:
Nie mogę pominąć wielkiej siły woli, decyzji, spokoju, specjalnie zasługujących na wyróżnienie wobec powszechnego zdenerwowania, którym odznaczył się w tej bitwie gen. Zieliński, osłaniając niezwykle małemi siłami flankę i tyły grupy kontratakowej dowodzonej przez mnie osobiście.
Po krótkim okresie dowodzenia okręgiem wojskowym na Pomorzu dnia 1 stycznia 1923 r. Zieliński przeszedł w stan spoczynku w stopniu generała broni. Zmarł 11 kwietnia 1925 r. Pochowano go na Cmentarzu Rakowickim, tak jak sobie życzył w testamencie, wśród legionistów – tych szczególnie bliskich jego sercu ułanów poległych pod Rokitną.