分子設計・材料設計・プロセス設計・プロセス管理において、分子記述子・実験条件・合成条件・製造条件・評価条件・プロセス条件・プロセス変数などの特徴量 x と分子・材料の物性・活性・特性や製品の品質などの目的変数 y との間で数理モデル y = f(x) を構築し、構築したモデルに x の値を入力して y の値を予測したり、y が目標値となる x の値を設計したりします。
いわゆる人工知能(AI)の分野において、マルチモーダル学習が活用されています。英語のWikipediaによる定義は以下の通りです。
Multimodal learning is a type of deep learning that integrates and processes multiple types of data, referred to as modalities, such as text, audio, images, or video. This integration allows for a more holistic understanding of complex data, improving model performance in tasks like visual question answering, cross-modal retrieval, text-to-image generation, aesthetic ranking, and image captioning.
画像、音声、テキスト、動画、センサー情報など、複数の異なる種類のデータを統合して学習します。分子・材料・プロセスの分野でも、分子構造、スペクトル、プロファイル、画像、動画、文字、時系列データなど様々な種類のデータが存在するため、それらをマルチモーダル学習させることで、単一データを学習させる場合よりも有効なモデルを構築できると期待できます。
分子・材料・プロセスの分野では特に、データ間の関係が重要となります。例えば、材料の合成条件・プロセス条件から物性・活性を予測したり、分子や材料の分析結果から構造を推定したり、分析結果や物性・活性が所望の値となる材料の合成条件・プロセス条件を予測したりすることが求められています。
一般的には関係性をモデル化するために、複数の種類のデータが揃ったサンプルを選択して学習に用いることになります。揃っていない「穴あき」のデータセットである場合はデータを補完して使用します。

「穴あき」といっても少量の欠損であれば、ある程度確からしい値として補完できますが、多くなるにつれて補完の精度は低下してしまいます。
マルチモーダル学習を活用することで、「穴あき」を気にせず、あるデータすべてを用いて学習させるといった戦略を取ることができます。研究室内や部署内で測定されたデータを活用するのはもちろんのこと、文献データや公共データベースのデータなども一緒に活用できます。文献データや公共データベースのデータには詳細な合成条件・プロセス条件が記載されていないことが多いですが、それらも活用しつつ、研究室内・部署内で得られる合成条件・プロセス条件が明記されたデータも合わせて、マルチモーダル学習させることで、様々なデータセット間の関係性を含めて学習させることができます。世界中のデータを分子・材料・プロセスの予測・設計における目的に応じて、余すことなく使用可能となるわけです。
様々な種類のデータを扱う際には、マルチモーダル学習も検討すると良いでしょう。
以上です。
質問やコメントなどありましたら、X, facebook, メールなどでご連絡いただけるとうれしいです。