裴荫森幼年家寒，父亲裴大保以务农为主。裴荫森排行第四，有两兄一姐。他天资聪颖，酷爱读书，无奈家寒，父母无力供读。幸得益林镇塾师陶先生、阜城镇曹先生、凤谷赵举人等慨然资助，传授学业，成年后至淮安就读。

      咸丰五年（1855年），裴荫森入都应试举人，落第，穷困潦倒。御史尹耕云（泗阳人）见他坚忍耐苦，异日可成大器，遂聘他教子读书，宾礼相待。咸丰八年（1858年），裴荫森再次应试，得中举人。咸丰十年（1860年）春，裴荫森应考进士，礼部考试成功。时值英法联军侵略北京，以致这年礼闱未及发榜。裴荫森返乡，筑圩防御西捻军。因维护清朝统治有功，赏戴蓝翎。当时，地方官绅勾结，把原由团勇开垦的荒地划归兵营，改由军屯，遭到民众反对，打死一李姓董事。县知事为了推卸责任，向上报称民众叛反，漕运总督吴棠准备派兵镇压。裴荫森连夜谒见吴棠，说明民众并非叛反，事遂平息。道光、咸丰年间，阜宁县境抢寡妇之风盛行。裴荫森遇一王姓女子，因被抢自缢身亡，便在阜宁创“保孀会”，让孀妇自由婚嫁，严禁抢人。言出法随，恶风遂绝。同治二年（1863年），裴荫森参加补行殿试大典，以第二甲赐进士出身，授工部主事。裴荫森出入衙署，不重衣冠，见人不作浮语，亦不妄拜他人。同治四年（1865年），裴荫森“援例为道员，分省湖南”。他奉檄到江南驻守，巡视安徽、河南、河北军情。曾冒酷暑至宿迁，谒两江总督曾国藩于行营，倡导淮入海之议。同治五年（1866年），又上书漕督吴棠，力主导淮。不久奉调湖南督办团防。此时，贵州张秀眉领导的苗民起义军以及同他们配合的汉族贫苦群众组织的“教军”、“号军”，声势浩大，发展迅速，几乎遍及贵州各州府，延及广西、湖南、云南。裴荫森“撰援黔议略”，并向巡抚刘昆呈书建议：“一察吏治，以奖循良；二行保甲，以消反侧；三节饷需，以重边防；四时简阅，以修军政。”所陈皆救时急务，惜当道未能用也。同治九年（1870年），裴荫森随李鸿章进入贵州，负责军营行政。他于“三月十二日淮河驾小舟至京口”，途径吴、楚、秦、晋、豫、冀、齐鲁，行程13000里，作《七省纪游》。同治十一年（1872年），裴荫森至湖南仍办团防，任劳任怨，一如既往。同治十二年（1873年），裴荫森任盐法长宝道。不久，办理全省军务兼省志局提调，协办“育婴堂”，增设“岳麓”、“城南”、“求忠”三书院。光绪五年（1879年），裴荫森永郴桂兵备道。光绪七年（1881年），裴荫森任辰永沅靖兵备道。湖南边境多为苗民聚居，因官吏横征暴敛，致使“苗乱”不断发生。裴荫森采用“安边惩贪”的方针，以德服人，重视民族团结，缓和民族矛盾。他经常一马两役，周巡数千里，亲手发放苗饷，杜绝中饱，下令各厅州严禁轻易更换苗官，规定苗官有苛敛苗民的，当庭审问。巡视中，遇到苗民诉讼，他便在邮亭立刻处理，苗民心悦诚服，政声大著。光绪九年（1883），裴荫森擢升福建按察使。光绪十年（1884年）八月，法国军舰入侵马尾港，船政大臣何如璋秉承李鸿章主和意旨，不加戒备，致使福建海军被法军击溃，马尾船厂遭到毁灭性的破坏，一时舆论哗然。何如璋与会办福建海防大臣张佩纶同被革职。是年冬，裴荫森受命福建船政大臣。裴荫森痛定思痛，会同督办福建军务、力主抗法的左宗棠等同僚合疏上奏：“欧洲大局，已成连横之势。中国若再拘成见，日益可危，除制炮、造船、教将、练兵外，别无自强之道。”他还在奏疏中提出：“船政之设，为海防至计，非机器局、制造局可比，现值整练海军，请求拨款试造数艘双轨钢甲兵船，加强实力。”等了很久，只允造兵船一艘，而扩建造船厂，终未批准。同时，裴荫森制定船政章程，整顿福州船政学堂，选派留学生，重视培养技术人员。他奏请在留学生中，再设练船一项，延长学习时间，学成任事。光绪十二年（1886年）春，他至南京与两江总督曾国荃商定协造钢甲二艘，疏稿写成。此时，慈禧太后命拨海防经费二百万两白银修颐和园，此议遂止。裴荫森内心痛苦万分，为此默默无言数日。九月，裴荫森仍不避艰险，反复申诉日本近年扩展海军势力，已对我构成威胁，奏请拨款制穹甲快船，以加强海军实力。继与两广总督张之洞商洽，制造兵轮八艘。时值户部尚书翁同和倡议，三年内不添置一船一炮，两次奏本均被议驳。幸经两广总督张之洞与粤抚吴大澄合词力争，方被议准。裴荫森有胆有识，设法购置外洋钢铁、木酋及轮船应用之电灯、水雷、电缆各件，还向“外洋定购船身钢铁并轮机水缸、钢铁等件”……从外国引进了一批先进的技术设备、机件和物件，加以仿制和组装，加强了福建海军的作战能力。

      裴荫森受命船政大臣五年，疏奏有关军国大计数十次。在财政困竭的岁月里，精心筹划，坚忍耐苦，百折不回，竭尽心力，先后填塞林浦、梅花等港。在劫后的废墟上重建马尾船厂，设立鱼雷厂，建筑石底船坞一座，增设护厂炮台三座，建成横海、镜清、寰泰快船三艘，及广甲等兵船四艘，还建成平远双机钢甲一艘，试造新式双机钢甲一艘。为了筑石墩，安排练，他在施工中“盛暑乘小舟行烈日中不稍倦”。光绪十四年（1888年）二月，清廷议下“命以三品京堂候补，仍督办船政”，照准“制船经费岁额六十万（两）由闽海关拨解”。后终因“关税不旺，解未及半”，以致“经费短绌，事多掣肘”。至光绪十五年（1889年），詹事志税“阿内外意，奏请停止制造”。九月，福建船政改隶海军衙门，停止军舰制造。从此，福建海军实权操在淮系集团首领李鸿章之手。裴荫森“顾经费既异常短绌，又节节阻滞”，终于劳苦忧郁成疾。同月，清廷补授裴荫森光禄寺卿，掌皇室膳食。此职与他振兴船政、巩固海防的志向大相径庭。裴荫森痛感“功败垂成，持不可致”，便连疏乞休，归淮养疴。

      光绪十六年（1890年），裴荫森二月告病假，七月请开缺，在淮安河下姜桥巷旧宅与家人同住。有一年。返家乡阜宁探望故人亲友，见极及贫困者，辄解囊相助。里人争相邀宴，不赴；纵即应邀，先讲明不食荤菜，以大麦面为食即可。起居仍在童年寝处，阜宁县知事数次请其易地起居，他说，旧时能眠，今何不能？处此适能回忆童年情景。裴荫森常以“以德为主，富贵莫压乡党，为官忌用家人”教育后人，乡里颂为“裴四大人”。

      裴荫森“伟躯修髯，凝重有威”，专心好学，不事著述。自谓一生得力在“定识”、“定力”四字。学业则致志推崇孙奇逢、顾炎武、汤斌、于成龙等人，对其著作，背诵如流，有时高声吟诵。手迹《七省纪游》尚存。《纪游》表明：当时清政府一味实行镇压国内人民的反抗，而对外国侵略者则一味采取妥协投降的政策。他认为，对于外国侵略者，“含群策群力以御之，岂真无策也哉！”

光绪廿一年（1895年）十月，裴荫森病逝于淮安河下姜桥巷宅内，享年七十二岁。殁后与卞氏夫人合葬于阜宁县周门。他的门人侯官（福州）沈翊武于光绪二十八年（1902年）为裴光禄公辑成《船政奏议汇编》一卷，《遗集》八卷和《年谱》四卷。