1888年彰技堂に入門、明治美術会展に出品。1895年、群馬県沼田付近で、写生をしている吉田博に出会い、吉田の描いていた水彩画に感銘を受ける。1898年、吉田博とともに約40日間におよぶ「日本アルプス写生旅行」を敢行、飛騨方面まで巡る。
1899年、三宅克己と交友。三宅の勧めから、1900年渡米。同行した、鹿子木孟郎、満谷国四郎、河合新蔵と、先発の吉田博、中川八郎で「日本人水彩画家6人展」をボストンアートクラブ、プロビデンス、ワシントンで開催し大成功を収める。その後、鹿子木、満谷、河合とともにヨーロッパ巡遊、シンガポール、香港経由で1901年に帰国。
1902年、明治美術会改め「太平洋画会」創立に加わる。小諸義塾の水彩画教師となり島崎藤村と交友。1907年大下藤次郎らと日本水彩画会研究所を設立。1907年文展に「白馬神苑」を出品。1908年、日本山岳会会員。1909年、絹本に水彩で描いた日本画調の作品を「和装水彩」として発表。 1911-1912年再びヨーロッパに渡る。この滞欧中に大下藤次郎が急逝する。
1913年、日本水彩画会創立、評議員となる。水彩画は庶民の間に急速に広まり、日本各地を講習会や指導で訪れた。1923年、関東大震災の被災者救済を目的に、中国、東南アジア、インドを旅行。内弟子の関晴風と、小諸・玄光院で慰霊のため「釈迦八相」を制作。
1936年日本山岳画協会創立に参加。祢津村にアトリエ「羽衣荘」を新築。太平洋画会、日本水彩画会、日本山岳画協会には毎年出品を続けた。
1942年没、享年76。内弟子の小山周次が中心となって遺稿集「水彩画家丸山晩霞」が日本水彩画会から刊行された。晩年、画風に関しては不評だった丸山晩霞だが、この遺稿集に寄稿した顔ぶれからも、丸山晩霞の存在が当時の日本美術界において大きかったことがわかる。丸山晩霞の墓は、生家の裏山にあり、墓石には「水彩画家丸山晩霞 ここに眠る」とある。アトリエの「羽衣荘」には藤村の碑文がある。
