父は、倭衛が小学校在学中に製糸工場経営に失敗し、明治40年の春、倭衛と弟を実家の小林家にに預けたまま夜逃げ同様に東京へと出てしまいました。実家は上田駅に近い北天神町通りで蚕種用の和紙などを商っていましたが、倭衛は友人たちから離れ孤独にさいなまれましたが、同じ頃に同じ北天神町に移り住んだ馬場
明治43年には印刷会社の給仕となり月給を得るようになると、近くの水彩画研究所の夜間部に入り、明るく旺盛な好奇心のままに、生涯にわたる美術関係の友人を得ました。そんな矢先、林一家が住みついていた牛込の近くに住む詩人千家元麿によって、ホイットマンの「草の葉」の世界を知り、倭衛は詩人の道を歩むのか、絵の世界へ進むのか未来は不定でしたが、倭衛の社会的関心は
大正5年には有島生馬の知遇を得るに及んで倭衛の画才は刺激され、二科展に出品して入賞を果たし、大正8年には「出獄の日のO氏」によって画檀話題の中心人物となったのです。そんな順風に乗って大正10年から足掛け6年に及ぶフランス、ドイツの留学では、次々と訪れる日本人画学生の中心人物となり、遂にはセザンヌのアトリエで制作を許された唯一の日本人画家となりました。そんな栄光が貧しい一家を背負い続ける倭衛にもたらしたのは酒と女に精魂を傾ける生活であり、画商によって金縛りとなる放浪でした。
健康を損ねた倭衛が昭和20年、終の棲家となった浦和市で永眠する時、枕辺には少年の日からの友、馬場衛が戦時下物資欠乏の中にも酒と郷土の味を運んできてくれました。集まった有島生馬以下の先輩知友に対し、倭衛は禁酒禁煙を誓い明日の芸術的精進の夢を語り、枕頭での饗宴を望んで眼を閉じました。49歳でした。