フォトジェミック覚書: MMDによる実写合成法

先だって、MMD動画上の実写合成映像を作っている方々とあってお話をする機会に恵まれた。ぼくはもう3年ぐらい静止画専門みたいな感じでやっているのだが、縁あってとある上映会の席上で、ほかの大勢のすばらしい動画にまじってぼくの動画を紹介するという幸運にあずかったのである。それに合わせて、自分のやっていることがどういう感じの手順を踏んで出来るのかとか、どのぐらいこういったことをやっているのかといったこともすこし説明することになったのだが、ふとあることに気づいた。ぼくがこういう実写合成を手がけ始めたのは第7回MMD杯のころで (第6回も静止画中心ではあったけれど、あれはまだ本格的にそういうジャンルに踏み込む前の、いわば暗中模索、とりあえず何か作って出そうと突っ走った結果の産物である)、時期的には2011年の夏ということになる。この夏で三年目になるのだが、2011年の夏にぼくが仰ぎ見ていた実写合成の大家である某H氏や某K氏 (氏の動画は現在でもニコ動「フォトジェミック」タグでみることができる) は現在アクティヴに作品を投稿しておらず、三年間ずっとMMDの合成静止画を作り続け、律儀にMMD杯に毎回出場しているのはもうぼくぐらいしか残っていないのである。旧知であるStaryu氏いわく「いまはSimacherさんが (この分野を) 代表しちゃていいんじゃない?」とのことなので、僭越ながらこうして最新の合成ノウハウを書き留めておく次第である。ノウハウといっても、写真というのは撮る人のセンスに影響されるところが大で、MMD写真でもそれはおそらく変わらないので、今回は基本中の基本、MMDをさわりはじめたばかり、といった人がひと通りのことをこなせるぐらいまでを目標としたく思う。

さて、MMDで合成した写真を英単語の「Photogenic (写真うつりが良い、とでも言おうか)」からの転用で「フォトジェミック」と呼ぶのだが (被写体がミクじゃない場合はどうなんだろう)、これを「魅せる」キモの部分はずばり、影である。構図的に地面に映る影が見える絵の場合、この地面影がどうなっているかという一点のみで、極論すれば作品が「マル」か「ペケ」かの判断をされてしまうこともあるのだ。MMDはソフト内で影も投影してくれるのだが、そのままではやはりリアリズムとしては圧倒的に不十分であり、したがって作成者は持ちうる全力をもって、まずこの「足元の影」という命題を解決しなければならないのである。この解決法はいく通りか存在し、それぞれ時間や手間やPCのスペック、また所有する処理ソフトなどによって取りうる解の選択肢が決まってくる。ぼくは王道を往くPhotoshopを愛用していて、いわばすっかり甘やかされてしまっているのだが、まだPCがウンコだった時代にはMME無し、Photoshop無しという縛りプレイ状態での製作をやっていたこともあって、これは勿論仕上がりという点ではPhotoshop仕様にすこし劣るのだが、いちおうひと通りの鑑賞に耐えうる状態にまで持っていくことはできるし、構図の工夫などで与える印象はいかようにも変化する。いわばうさぎはうさぎの走り方があるし、馬は馬の走り方があって、どっちも其々速いよね、といったところだろうか。以下、長くなるので格納するが、影編集の基本、またそれぞれPhotoshopを使用しない場合、使用する場合に分けて、いくつかの影の処理方法を見て行きたいと思う。

これはMMD内のモデル、地面影をすべてそのままの状態で出力したものである。地面影があまりにも周囲から浮いていて、ぱっと見「残念」な感じなのだが、じつはこの状態で完成として投稿されてしまっている静止画作品がけっこう多い。これでは写真の上から何かラベルでも貼った状態のようにも見えるし、何より影の見栄えがたいへん悪いので、この状態にとどまることはやめたほうが良い。



こちらはMMDのソフトに背景静止画およびモデルを読み込み、上画像の状態になっている画面である。まず1の赤丸のボタン (このボタン類はたしかMMD Ver. 8辺りで実装されたと記憶する。とりあえずMMDは最新版を使っておけば間違いない) で座標軸を消そう。これを忘れると座標軸のグリッドがしっかり画に出力されて出てきて、全てが台無しになる (時折座標軸を消し忘れた状態で出力してしまうポカをやったりするので、出力前にダブルチェックするのが良いだろう)。

つぎに2と3の赤で囲った部分である。青地の部分はカメラパネルで、この辺は直感的な操作が多いのであまり説明の必要は無いだろう。視野角はデフォルトでは30度にセットされているが、これはカメラのレンズでいうと70～80ミリ前後の中望遠に相当する画角 (視界) である。人間の目がだいたいレンズでいう50ミリと言われていて、この場合の視野角は計算上約46度になるのだが、ぼくは結構視野角を無視して20度ぐらいで固定することが多い。べつに20度固定でも最終的に見栄えがしっくり来ていればいいと思うのだが、こだわりたい人はWikiにテーブルが載っているので適宜換算するといいだろう。もちろん、背景写真の撮影に使ったカメラのレンズを記憶しておくことが必須になるので、自分で写真を撮る人はたとえば35ミリ・50ミリ・85ミリとか、プリセットを作っておくと便利かもしれない。
緑地の部分はライティングと影の向きをいじるパネルで、これがいわば本講座の本命である。上段の三本のスライダはMMD内部のライティング色をいじるもので、例えば水族館の中のような青みの強い背景など、周辺光に色味がかかっている時にモデル側である程度調整するためのものである。Photoshopが無い人はあとで編集する手間も考えて、極力ここで色調を合わせてしまうと良いだろう。下段のスライダーは影の向きをXYZ軸方向にしたがって調整するもので (どの軸がどの向きになっているかはMMD側の座標軸に色分けで表示されている)、これを使って影の向き (及び付随する光源の向き) を元写真に合わせることになる。元写真の影の向きを記憶しておくかメモしておくか、あるいは周囲の物体の影のかかり方から判別する作業はとても大事だ。

もうひとつとても大事なのが、地面影の色合いである。デフォルトの状態だと明るい灰色に近い色調だが、現実世界でこういう色の影が出てくることは、じつはあまり無い。だいたいの場合もっと濃い色の影になるので、画像のように「地面影色設定」を選択し、クリックして出てきたスライダーを操作して影の色を適宜濃くしてやる作業が必須になる。この手順もこれまた初心者が見落としがちなポイントだと思うので、とにかく最初は何が何でも「影の向き」と「影の色」だけはしっかり調整するようにしたい。

上記の通り、向きと色をひと通り操作した結果がこちらになる。まだまだ改善の余地がありそうではあるが、最初の画像よりはだいぶマシになったことが一見してわかると思われる。今回サンプル画像が暗い場所なのですこしわかりにくいが、日中の太陽の下、というような写真だと、この「向き」と「色」による効果は痛いほど実感できる。

---

さて、ここから編集ソフトに舞台を移すことになる。まずはPhotoshopを所持していない場合を想定して、比較的ロースペックなPCでも動作できるPhotoCreator SEというフリーの編集ソフトを使用する方法を以下に紹介する。これは基本的に、ぼくが初代のデスクトップ (RAMの1GBが焼けて970MBになり、グラフィックに至ってはなんとオンボードの64MBという化石のようなシロモノだった。無論MMEなんてものは使えない) で使っていた方法をそのまま持ってきている。
このPhotoCreator SEというソフト、事業整理の一環か何かで、気づかぬ間に無料公開が停止されてしまっていた。個人的になかなか使いやすいソフトウェアだと思っていたのでとても残念だが、ないものはどうしようもない。代案としてシステム的な根幹を共有するフリーのお絵かきソフトであるPixia (おそらく操作感が近い? 未所有のため不明) を使うか、何か適当なフリーの編集ソフトを持ってくるか、開き直って有料版のPhotoCreatorを買うか、こっそりぼくに連絡してソフトを脅し取るか、いずれにしても何かする必要はあるわけだ。主に使用する機能は「ぼかし」なので、おそらく比較的しっかりしたソフトならだいたいOKだろうとは推測する。

ソフト上でぼかしフィルターを選択し、ペンツールを使って影の輪郭をがしがしぼかしていく。実際の写真を観察すると、影の輪郭というのはポリゴンのようにくっきりしたものではなく、どんな炎天下でもかならず少しはぼやけている状態なのがわかると思うが、それの再現である。ペンタブがあれば操作は簡単だが、マウスでも一応出来ないことはない。しかしペンタブは持っていれば何かと重宝するから、一番安い品で良いのでヨドバシかどこかで確保しておくといいかもしれない。参考までに、ぼくがいま使っているペンタブは3000円ちょっとだった。

ひとしきりぼかし終えたものがこちらになる。あまりハイエンドな編集ソフトが無い場合はこの辺がハード面での限界ということができるが、そうなるとあとは作成者の創意工夫で、フィルター効果を入れたり構図やキャラクターそのもので勝負したりといったことになる。自分でPhotoshopを酷使しておいて何を言うかとしばき倒されそうだが、ハード面の制約に足を引っ張られて、良いソフトを使っている作品にどうしても敵わない、という状況は個人的にあまり望ましくないと思っているのだ。ハード面の限界は有限だが、人間のアイデアは無限である。


この後のステップとして「フィルターがけ」はたいへん有効である。あまり強いフィルターをかけると主題がぼやけてしまったりするのだが、適宜使っていくと良いだろう。ぼくが目下のところ愛用しているのはこれである。たとえば以下の様な仕上がりになる。

---

つぎに、Photoshopあるいはそれに準ずるスペックの編集ソフトウェアを所持している場合について考える。前提条件として、「レイヤーが扱える」「アルファチャンネル (透過レイヤー) が扱える」ことを基準にソフトを選んでいくといいだろう。ぼくはPhotshop以外を使ったことがないのだが、フリーだとGIMP辺りがこの条件に合致するかもしれない。

この場合においては、「モデル」「影」を別々に透過付きのPNGファイルとして出力し、あとでソフト上で合成することになる。まず画像のように、「背景画像を表示」のチェックを外して、いわゆる「白バック」状態にする。この白バック状態は背景が透過処理されていて、PNGなどのアルファチャンネル処理可能なファイル形式で出力するとちゃんと白部分を透過処理してくれる。このことが後の合成ステップでひじょうに重要になってくる。

白バックにしたら、カメラをすこしズームさせて (マウスのセンターホイールで調整すると良いだろう)、モデルを大きめに映しておく。後のステップでくわしく説明するが、別体出力のひとつの利点として「モデルの出力サイズを必ずしも背景画像に合わせる必要がない」ということがあげられる。すなわち、モデルだけ大きめのサイズで出力して、あとから適宜背景に合わせて縮小することで、モデル部分の画質を高く保つことができるのである。

出力にあたって、モデルと影を別々の画像ファイルとする場合の方法である。幾人かMMD界隈で活躍している方に話をきいた限りでは、この方法を知らないという人が意外と多いらしいのだが、影をリアルに処理することを突き詰めていくとこういう手法に行き着くのでぜひ覚えておきたい。画像のメニューより、赤線でマークした部分でそれぞれ地面影とモデルの表示を消すことが出来るので、これを利用して「影だけ」「モデルだけ」の白バック (透過) 画像を出力するだけである。画像形式をPNGにするのを忘れないようにしたい (デフォルトではやや画質のわるいBMPで出力される)。


こちらはPhotoshop上に「背景写真」「モデル」「影」の画像をそれぞれ読み込んだ状態。このままではサイズが合わないので、後者ふたつのみをサイズ調整してやる必要がある。レイヤーの並び順に注意。

Ctrlキーを押しながらモデルレイヤーと影レイヤーをクリックして両方を選択状態にし、レイヤーパネル左下の鎖マークをクリックして二枚のレイヤーをリンクさせる。この操作を行うことで、この二枚のレイヤーを実質的に一枚分のレイヤーとして取り扱うことができ、拡大縮小などをまとめて行えるのである。

二枚のレイヤーがリンクされた状態で「Ctrl+T」を押して自由変形モードを呼び出し、マウスのドラッグ操作によってレイヤーのサイズを変更し、モデルのサイズを合わせる。この際、画像内赤丸で示した部分の鎖マークをクリックして、もともとのアスペクト比を保持するようにしてから操作に入る。

ここからは作成者のセンスが問われることになる。まず影レイヤーを選択して描画モードを「乗算」に変更し、つぎに「フィルター」タブから「ぼかし(ガウス)」を選択する。すると画像のようなサブウィンドウが出てくるので、スライダーを操作して適切と思われる量だけ影をぼかす。運が良ければこの操作だけで一丁上がりといった按配になることもあったりする。この段階で影が暗すぎたり明るすぎたりする場合、レベル補正レイヤーを使って調整したりするが、大体の場合はそこまでせずとも済む。

この手順は省略している人も多いかと思うのだが、ぼくが長く使っている方法なので参考までに紹介する。まずモデルレイヤー (何事もなければいちばん上に来ているはず) を選択し、その状態で「Ctrl+Shift+N」を押してあたらしいレイヤーを作製する。その際に出てくるポップアップダイアログで「下のレイヤーでクリッピングマスクを作成」の項目にチェックを入れると、ご覧のように新規レイヤーがその直下のレイヤーに「紐付け」された形で作製される。

この「紐付け」されたレイヤー上での描画などは、すべてその直下のレイヤーに対してのみ作用するという特徴がある。これを利用して、このレイヤーをモデル本体に対する影付けに使用する。この画像の場合、光源が水色の矢印で示した方向から来ているので、このモデルでは主に赤丸で囲った部分に陰影をつけることになる。ブラシツールを選択し、不透明度10～20ぐらいの円形ブラシでかるく描き込んでおく。必要ならレイヤーの不透明度を上下させたり、上の方法でガウスぼかしをかけたりしておく。

つぎに、「影レイヤーとモデルレイヤーの間」に新規レイヤーを一枚作製する。このレイヤーはどこにもクリッピングはしない。画像内、赤色で塗った部分を上と同じ方法でブラシを使って塗る。この部分は比較的濃い影が出るのだが、思い切って不透明度を上げた状態で塗り、あとからレイヤー全体の不透明度で調整する方法が使い良いかもしれない。写真では右足部分だけを見ているが、もちろん左足部分も同様の処理を施す。

参考までに、この「足元部分の濃い影の出方」を簡単に図にまとめたものがこちらになる。足元の輪郭をなぞるように濃い影が来て、それがグラデーション的にメインの影色に近づいていくといった具合である。図中赤矢印で示したごく狭い領域が、メイン影より一段黒い影となる。この考え方に何か科学的・視覚的根拠はじつは一切無いのだが、直感的に受け入れられるのでぼくはずっとこのやり方を使っている。

最終的な完成品がこちら。







たとえば以下の作品群におけるモデルの影は、上述の技法を用いて描き込んだものである。

---

以下、いくつかの例外規定的なケースを紹介する。いずれも元写真の構図によって派生するものである。

まず、このように「元写真の段階ではっきりした影が存在しない場合」。屋内での撮影や、屋外でも曇っていて光が拡散しているような状況でこういうことになるのだが、そのままの状態でポンと出力してしまうと、やはりどうしても違和感が残ることになる。こうした場合も、Photoshop (乃至同系統のソフト) の有無によって方法がわかれることになる。

ひとつの方法として、影の位置がモデルの真下に来るように調整して、後は上述の一体出力の方法で合成し、影のフチをぼかすという手段を取ることができる (左写真は出力しただけの状態)。この方法は現実の状況からは多少乖離するが、このままでも見栄えはわるくはない。Photoshopを使用しない場合はこの方法が主流となるだろう。

Photoshopを使う場合、出力の段階では地面影を出力せず、モデルの透過PNGのみを用意する。あとは背景レイヤーとモデルレイヤーの間に新しいレイヤーを用意し、前述の「足元にできる濃い影」のみをフリーハンドで描き込む。この辺は多少経験が必要になるところでもあり、またペンタブによって作業効率が劇的に向上する部分でもある。おそらくマウスのみでは相当な苦難の道のりとなる可能性をはらんでいる。

ひとつの裏技として、モデルレイヤー側にもごく微量のガウスぼかしを適用してさらになじませるというものがある。MMDのモデルはどうしてもエッジがきいた、いわば「3D的」な見え方になる場合が出てくるので、そういった場合にモデルをまるごとぼかして3D特有の刺々しさを軽減するのが狙いである。

また、たとえばこの写真のような構図では、地面に映る影は見えなくなる。こういう構図の場合は、うまくやればモデルを配置しての一体出力でもそこそこの見栄えになるが、逆にいうと地面影無しでなんとかして3Dモデルに「説得力」を持たせなければならないため、なめらかな合成を行うにはそれなりの技量とセンスが要求される構図でもある。ここでもやはり、何枚かやってみて勘所を見極める経験がものを言うだろう。最初のうちはあえて失敗作を量産しに行くぐらいの気持ちでやってみるのがよい。


また、少々変則的な例になるが、以下の写真のように足元「のみ」がひじょうに暗いような写真だと、影周辺の手間がまるごと省ける場合がある。この例ではモデルのみ出力して配置・合成した後、てきとうに足元周辺を上から黒く塗ってまわりと同化させただけという具合であった。

---

さて、だいぶ長くなってしまったが、MMDにおける実写合成の基本はおおむね以上の通りである。読者各位においては、ぜひこの記事を参考にして自分なりに写真合成の手順のひとつの流れを確立しておかれたいと思う。また、そういった創作活動をおこなう上でこの記事が些少なりとも役だったのであれば、ぼくとしてはこれに勝る僥倖は無いと思う。