清同治四年（1865年）1月3日出生于福州。是谢銮恩的第3个儿子。4岁时，母亲离开人世，由父亲和姐姐抚养。谢銮恩发妻去世后，未再续弦，晚年才娶继室，帮助料理生活。两个哥哥继承父业，做了教书先生，而谢葆璋却随同许多福州子弟加入海军。

清光绪七年（1881年），谢葆璋父亲的好友、天津水师学堂总教习严复专程回到福州，招考海军学生。严复见到谢葆璋，觉得这个少年是块当海军的好材料。于是，出两道题给谢葆璋做，算是考试。一道是诗题，题目是“月到中秋分外明”，另一道是八股的破题。谢葆璋做完后，严复很满意，决定收下这名学生。从此，跟随严复到天津，走进水师学堂，成为该校的第一届驾驶班学生。

谢葆璋等只用3年时间学完全部课程。毕业前夕，李鸿章邀请英国和俄国的海军官员来校会考。他们认为，欧洲海军学校学生到上练船阶段才能学到的一些课程，天津水师学堂的学生已经提前学完。国内的官员也认为，天津水师学堂“所授繁难诸学，多为从前

光绪二十年（1894年），中日甲午战争爆发。八月十八日，北洋海军主力与日本联合舰队在黄海激战。开战不久，日舰“赤城”被击成重伤，转舵驶逃。谢葆璋协助帮带大副驾驶“来远”舰，立即尾追攻击，进一步重创“赤城”，迫使其逃离作战海域。战至下午3时20分，日本第一游击队“吉野”等4舰集中火力进攻“来远”、“靖远”。两舰以寡敌众，苦战多时，均受重伤。“来远”舰中弹200多颗，引起猛烈火灾，“延烧房舱数十间”。在此危急时刻，谢葆璋奉命驾舰冲出日舰的包围，驶至大鹿岛附近灭火施救。　谢葆璋作为“来远”舰上的枪炮官，参加这次著名的大海战。

战斗一开始，北洋舰队就陷入极为不利的境地。激战数小时后，英勇的“致远”、“经远”等舰相继沉没，“广甲”、“济远”两舰先后撤出战斗。日本海军联合舰队的本队6舰，将北洋舰队的“定远”、“镇远”两艘铁甲舰团团包围。号称“帝国精锐”的“吉野”等4艘快速巡洋舰，则将谢葆璋所在的“来远”舰

二十一年（1895年）正月初五日，日军水陆夹击威海卫港内的北洋舰队。正月十二日凌晨，日本鱼雷艇潜入港内偷袭，由于北洋舰队的英勇抵抗，日本海军对威海的正面进攻迟迟不能得手。于是，日军派出鱼雷艇队，借夜色的掩护，潜入港内进行偷袭。2月5日，日军鱼雷艇施放的鱼雷击中受伤的“来远”舰。随着一声巨响，“来远”舰庞大的身躯急速地翻转，露出红色的舰底，不久即沉入海底，舰上官兵30多人遇难。

谢葆璋在军舰爆炸的刹那间，纵身跳入冰冷剌骨的海中，凭着一身好水性，拼命游上刘公岛，得以死里逃生。几天后，北洋舰队在刘公岛全军覆没。

甲午战争后，清政府将北洋舰队编制取消，数以千计劫后余生的海军官兵被遣散回乡。谢葆璋辗转回到福州，和家人团聚，与妻子家人度过一段平静生活。

清光绪二十五年（1899年），清政府恢复北洋舰队。原“靖远”舰管带叶祖珪出任统领，原“康济”舰管带萨镇冰出任帮统。萨镇冰是福州人，与谢葆璋是同乡。谢葆璋入天津水师学堂学习时，萨镇冰任学堂正教习，谢葆璋在“威远”舰实习时，萨镇冰又是该舰管带，所以，萨镇冰既是谢葆璋的长官又有师生之谊，以后，两人共事于北洋舰队，过从甚密。北洋舰队重建，急需海军人才，萨镇冰很自然就想到谢葆璋。于是，电召他重返海军任职。

是年，清政府从英国购买两艘4300吨的巡洋舰，一艘名为“海天”，一艘名为“海圻”，都是当时中国海军最大的战舰。萨镇冰兼任“海圻”舰舰长，谢葆璋被任命为副舰长。

清光绪二十六年（1900年）10月5日，35岁的谢葆璋有了第一个孩子——女儿谢婉莹。不久，谢葆璋的妻子带着仅7个月的女儿，从福州老家迁往上海。谢葆璋的巡洋舰多在此驻泊，一家人可以经常团聚。清光绪二十八年（1902年）冬，谢葆璋出任烟台海军练营管带

民国元年元旦，中华民国临时政府在南京成立。谢葆璋的同乡好友黄钟瑛因参加辛亥革命有功，被临时大总统孙中山任命为民国首任海军部总长兼海军总司令。黄钟瑛上任不久，电请在福州的谢葆璋回海军任职。

谢葆璋再次重返海军后，被安排在北京，担任海军总司令部二等参谋官。民国2年（1913年）7月4日，谢葆璋补授海军上校军衔。8月20日，晋升海军少将军衔。10月，谢葆璋以“才具开展，办事热心”，被任命为海军部军学司司长，负责整个海军教育工作。此后13年间，谢葆璋一直在海军部任职。谢葆璋提任军学司司长后，积极改革和整顿海军教育，恢复遭严重破坏的海军学校，多方筹措资金，改善办学条件，在极端困难的条件下，推动海军教育的发展。

民国4年5月7日，密谋称帝的袁世凯接受日本提出的灭亡中国的“二十一条”，借以换取日本对帝制的支持。这一卖国行径，激起全国人民的愤慨和反对。谢葆璋闻此，满怀悲愤地用岳飞笔体写下“五月七日之事”6个大字