分子設計・材料設計・プロセス設計・プロセス管理において、分子記述子・実験条件・合成条件・製造条件・評価条件・プロセス条件・プロセス変数などの特徴量 x と分子・材料の物性・活性・特性や製品の品質などの目的変数 y との間で数理モデル y = f(x) を構築し、構築したモデルに x の値を入力して y の値を予測したり、y が目標値となる x の値を設計したりします。
例えば、モデル化する新しい手法を提案した場合に、既存の手法と提案手法を比較する必要があります。手法の比較であれば、基本的にモデルを構築するサンプルおよび構築されたモデルの性能を評価するためのサンプルを、既存の手法と提案手法とで合わせる必要があります。手法の性能比較においては、条件を統一するということです。ただし、モデル化する手法の特徴として、モデル化するサンプルを工夫するということであれば、モデルを構築するサンプルは統一する必要がありません。例えばこちらの発表では、クラス分類モデルを構築するためのサンプルを工夫しており、従来手法とモデルを構築するサンプルは異なります。
小坂井颯麻, 金子弘昌, 陰性データの代替に食材含有成分を活用した薬物間相互作用の予測手法の開発, CD122, 化学工学会第56回秋季大会, 芝浦工業大学 豊洲キャンパス, 2025年9月16日
しかし、そのモデルを評価するためのサンプルは統一して評価しないと、従来手法と提案手法との比較としては不適切です。
このように、基本的には従来手法を比較するときのサンプルは固定しますが、何を提案しているか、それを実際にどのように使用するかに応じて、サンプルを合わせる必要がない状況もあります。とはいえ、基本的に従来法と提案法を比較する時には、少なくとも性能を評価するサンプルは合わせることになります。
一方で、従来法との比較ではなく、その手法の有効性をアピールする点においては、別途サンプルを準備して比較することも検討します。例えば、提案手法でこれまで特徴量化ができなかった状況において新たな特徴量化ができるようになった場合のように、従来手法ではそもそも予測することすらできなかったサンプルを予測できるようになった場合に、その有効性を示すために、従来法とは別に予測してその評価をすることもあります。従来法との比較ももちろん大事であり、適切に比較する必要もありますが、提案手法をアピールするためにどんなサンプルを用いて評価するかについても検討すると良いでしょう。
以上です。
質問やコメントなどありましたら、X, facebook, メールなどでご連絡いただけるとうれしいです。
