分子設計・材料設計・プロセス設計において、分子記述子や合成条件・製造条件・プロセス条件などの特徴量 x と物性・活性・特性などの目的変数 y の間で、データセットを用いて機械学習により数理モデル y = f(x) を構築したり、構築されたモデルに基づいて x の値から y の値を予測したり、y が目標値をもつような x の値を設計したりします。モデルを構築するデータセットのサンプル数が小さいときに実施する手段の一つとして、転移学習があります。分子設計・材料設計・プロセス設計で使用するモデルの構築に用いるサンプルだけでなく、それと似たサンプル、例えば y や特徴量や実験方法・プロセスが異なっているサンプルを用いて、モデルの予測精度の向上を目指します。目的のモデルの構築に用いるサンプルをターゲットドメイン、それと似た (異なる) サンプルをソースドメインといいます。
転移学習をする方法にもいろいろとあります。例えばニューラルネットワークを用いる方法として、ソースドメインを使ってニューラルネットワークを事前に学習しておき、その後にターゲットドメインで、例えば出力層付近のニューロンのみ再学習させる方法があります。任意のモデル構築手法と組み合わせることができる方法としては、ソースドメインでモデル y = f(x) を構築し、そのモデルの y の予測値を、ターゲットドメインで構築するモデルの x として使用する方法や、ターゲットドメインとソースドメインを 0 行列を使って統合してモデルを構築する方法などがあります。
モデル構築に用いるデータセット (ターゲットドメインとソースドメイン) によって、転移学習を用いるべきか、用いないべきか、また用いるとしたらどの方法を用いるべきかは異なります。どんなデータセットに対しても最適な方法はありません。
そのため、モデル構築手法の選び方と同じで、基本的に転移学習をしない場合や転移学習のそれぞれの方法を用いる場合でモデルを構築してみて、モデルの予測性能を適切に評価しながら、方法を選択する必要があります。
ターゲットドメインのテストデータの予測結果、もしくはターゲットドメインを基準にしたダブルクロスバリデーションの結果がもっとも良好な方法を選択します。
ただ、ターゲットドメインとソースドメインそれぞれのデータ構造によっては、使用できない転移学習の方法があったり、工夫して転移学習を実施する必要があったりします。ターゲットドメインの x とソースドメインの x がすべて同じであれば、上で述べた転移学習のすべての方法を使用できますが、x の一部に異なる特徴量があるときは、ニューラルネットワークの方法を使用できません。このとき、ソースドメインで構築したモデルの y の予測値を、ターゲットドメインの x として使用する方法でしたら、そのまま問題なく使用することができますが、ターゲットドメインとソースドメインを 0 行列を使って統合してモデルを構築する方法は、工夫して使用する必要があります。具体的には、ターゲットドメインとソースドメインで共通する x については、問題なく 0 行列で統合できますが、ターゲットドメインかソースドメインの一方しなかない x については、存在しないサンプルの値を 0 として統合するしかありません。このように、ターゲットドメインとソースドメインで特徴量が異なるときは、工夫して転移学習を実施する必要があります。この辺りの工夫の仕方についても、転移学習の方法や予測精度の向上において重要と考えますので、データセットに応じて工夫するとよいでしょう。
以上です。
質問やコメントなどありましたら、twitter, facebook, メールなどでご連絡いただけるとうれしいです。
