データ化学工学研究室物語
第Ⅱ部 高精度モデルの落とし穴
学部四年生から修士課程へ。実際の研究で調べ、試し、考え、自分の問いを育てていく。
第9章 上向きの線の根拠
雨がやんだ翌朝も、画面の中の二本の線は、反対を向いたままだった。
高分子 X の保持時間を、2 時間から 4 時間へ変える。
作製前に保存した予測は、2.36 から 2.39 へ、わずかに上がる。三つの作製回で得た実測値は、どれも下がった。
遥は、前の報告会で保存した図を開いた。
二酸化炭素透過係数を、Barrer で表した数値の常用対数。同じ尺度の上に、モデルが返した値と、実際に作った膜の値が置かれている。
予測の方が全体に高い。
保持時間を変えたときの向きも違う。
同じ図に見える二つのずれを、今週は分けて調べることにした。
隣の同期が、椅子を寄せた。
「予測が高すぎるなら、少し下げれば合うんじゃない?」
遥も、最初にそう考えた。
図のコピーを作り、予測の二点を、同じだけ下へ動かしてみる。実測の点へ近づく場所はあった。
しかし、二点を結んだ線は、上向きのままだった。
「同じだけ引くと、値のずれは小さくなるかもしれない。でも、時間を長くする方が大きいという予測は、そのままだね」
「じゃあ、傾きも変える?」
「その二点に合わせるだけなら、できると思う。ただ、それは、測った結果を見てから直した線になる」
遥は、動かした図を元の予測へ上書きしなかった。
これは、ずれの種類を考えるための作図だった。新しい膜を予測できるモデルを作ったわけではない。
まず、なぜ元の線が上を向いたのか。
ノートに書くと、ようやく、今日開くべきファイルが決まった。
最初に開いたのは、新しい十一枚の実測値ではなく、作製前の予測と一緒に残したモデルの設定だった。
学習に使った 44 個の報告結果。
工程別の入力の定義。
標準化に使った値。
選ばれた近傍数。
今の実験結果を学習へ加える前の状態を、別の作業用フォルダへ読み込む。
画面に残っていた Notebook を、そのまま上から実行することはしなかった。途中で新しいデータを読み込んだ変数が残っていないかも確かめた。
同じファイル名の図を出すことではなく、同じ情報から出した予測をたどりたかった。
保存していた四通りの入力を渡すと、丸める前の予測値が、記録と一致した。
遥は、そこまでをノートへ残した。
予測を再現した。
まだ、外れた理由を説明したわけではない。
次に、X の 2 時間と 4 時間の入力を、列ごとに並べた。
変わっているのは、乾燥に続く処理の保持時間を示す列だった。
subsequent_treatment_duration_h。
構造の記述子、乾燥の温度と時間、その後の処理の温度、雰囲気の区分は、二つの入力でそろっている。
保持時間は、2 時間と 4 時間として入力されていた。片方だけ分を入れたわけではない。計画した条件と、実際に行った条件を、知らないうちに混ぜてもいなかった。
構造記述子や温度、時間は、学習したときの平均値と標準偏差で変換する。雰囲気の区分を表す 0 と 1 の列には、決めていた別の扱いを引き継ぐ。予測する二行だけから、尺度を計算し直すことはしない。
変換した後も、違うのは同じ一列だった。
「入力の取り違えではなさそうです」
昼前、紺色のパーカーの先輩へ画面を見せた。
「では、その一列が変わると、このモデルでは何が変わりますか」
「学習データまでの距離です。その距離で、近傍に選ばれる記録が変わるかを見ます」
言いながら、遥は、二つの予測値の下へ空いた欄を作った。
今までは、そこに誤差を書いていた。
今日は、その数字を作った記録を置く。
保存された設定では、近傍数は 5 だった。選ばれた五つの報告値の常用対数を、同じ重みで平均している。
まず、2 時間の入力から近い五つを取り出した。
次に、4 時間についても、同じように取り出す。
近傍の順位、距離、reported_result_id、構造のグループ、原著論文の番号、工程条件、報告された透過係数の対数値を、二つの一覧に並べた。
行の位置だけを見て比較しない。順位が変わっても、同じ報告結果かどうかを番号で対応付ける。
四つの記録は、両方にあった。
違っていたのは、一つだった。
2 時間では選ばれたが、4 時間では五つの外へ出た記録。
2 時間では五つの外にあり、4 時間では入ってきた記録。
遥は、二つの番号を、それぞれ別の枠で囲んだ。
五つ全部が、別の膜になったわけではなかった。
説明用に表示した対数値では、外へ出た記録が 2.18、入ってきた記録が 2.33 だった。残る四つの報告値は、変わらない。
一つ分が 0.15 大きくなり、それを五つの平均にするため、予測値は 0.03 大きくなる。
2.36 と 2.39。
遥は電卓でも確かめた。さらに、保存された丸める前の値を使って五つずつ平均すると、プログラムの予測と一致した。
「ここから、あの上向きの線が出ています」
先輩は、二つの枠を見た。
「計算としては、何が分かりましたか」
「今回の設定では、近傍が一つ入れ替わり、平均に使う報告値が大きくなったため、予測が上がったと説明できます」
「では、保持時間を長くすると透過係数が上がる理由も、分かりましたか」
遥は、入れ替わった二つの構造を表示した。
同じ高分子ではなかった。
出典も違っていた。保持時間だけでなく、他の工程条件にも違いがある。
これは、同じ材料の保持時間だけを変えた二枚の膜ではない。
「分かったのは、モデルの計算が変わった理由です。材料の中で、時間によって何が起きるかを確かめたわけではありません」
ノートに、二つの見出しを書いた。
予測値が変わった理由。
実測値が変わった理由。
最初の欄には、具体的な番号を書けるようになった。
二つ目は、まだ空白が多かった。
午後、遥は、近傍の一覧をもう少し詳しく読んだ。
参照された五つは、今回の入力の表し方と距離で、近い順に選ばれた記録だった。保持時間の違いを調べるために、実験条件をそろえた五つではない。
ある記録は構造が近く、別の記録は工程条件が近い。それらを、一つの距離へまとめていた。
構造に関する列は多い。工程を表す列も、それぞれ距離へ寄与する。
標準化によって数字の尺度をそろえていても、構造全体と工程全体に、同じ重みを与えたことにはならない。
そのことは、新人トレーニングでも聞いていた。
今は、一般的な注意ではなく、目の前の五つが選ばれた理由として気になった。
遥は、それぞれの近傍について、どの入力が大きく離れ、どの入力が近いのかを表示した。元の単位の値も、標準化後の値と並べて残す。
ただし、この段階では、列を消したり、時間の重みを大きくしたりはしなかった。
まず、今使った距離を説明する。
距離の決め方を変えるなら、それは次のモデルの検討になる。
「時間の列をもっと強くすれば、時間の効果を見られるのかな」
隣の同期が言った。
遥は、入れ替わった二つの記録を指した。
「時間が近い記録を選びやすくはできると思う。でも、その代わりに構造が違う膜を選ぶかもしれない。時間だけ違う実験の組が、新しく増えるわけではないから」
近くに選ぶ方法を変えることと、比較したかった観測がそろうことは違った。
遥は、44 行すべての工程表も開いた。
X の構造を持つ記録は、学習データに含まれている。
けれど、今回の X について、乾燥までの手順と処理温度、雰囲気などをそろえ、保持時間を 2 時間と 4 時間にした対が、そのまま含まれているわけではなかった。
他の構造も含めて探すと、時間の異なる記録はある。しかし、今確認できた範囲では、同時に変わっている条件や、対応を確かめられない項目が残った。
未知の構造ではない。
その一言だけで、知っている作り方の比較になるわけでもなかった。
遥は、44 行の表の上へ書いた。
構造について持っている情報。
その構造で、条件を変えた差について持っている情報。
同じデータセットでも、二つは同じ量ではない。
近傍の一覧を読み終えたところで、遥はもう一つ、小さく試したくなった。
今の図には、2 時間と 4 時間の二点しかない。それを直線で結ぶと、モデルがその間で、少しずつ値を上げているように見える。
本当に、そのような動きをするのだろうか。
実験の条件を増やす前に、計算の中だけで確かめることにした。
X の他の入力を固定し、保持時間だけを 2 から 4 まで、0.25 時間ずつ変える。使うモデルと標準化の尺度は、保存したものから変えない。
これは、新しい膜を作る指示ではない。途中の条件で実験を実施できるかも、この計算で確認したことにはならない。
各入力について、予測値だけでなく、近傍に使った五つの番号も保存した。
画面には、なだらかな坂ではなく、値がしばらく変わらず、途中で切り替わるような並びが現れた。
同じ五つが選ばれている間、平均する報告値は同じだった。
距離そのものが少し変わっても、今回は距離に応じて重みを変えていない。五つの顔ぶれが変わらなければ、予測値も変わらない。
二点を結んだ最初の直線は、その間でモデルが計算した値を表していたわけではなかった。
遥は、その図の線を点線に変え、二条件の比較を示すために結んだものだと書き添えた。
「これだと、途中までは時間が関係ないんですか」
先輩に見せながら、自分でも、言い方が違うと気づいた。
「いえ。予測値が同じだから、実際の膜も変わらないとは言えませんね」
先輩はうなずいた。
「今回の k 近傍回帰の計算の特徴です。今の入力やデータで捉えられていない変化まで、ないことにはできません」
遥は、図の横へ近傍の番号を置いた。
同じ顔ぶれの区間。
一つが入れ替わった場所。
図と番号が、一緒に動いている。
「計算がどのように変わったかは、前より見えました」
「はい。ただし、この図を見て、実測の線に似る近傍数を選び直すなら、今の実験結果を使ったモデル調整になります」
遥は、設定を変えられる欄を閉じなかった。
試してはいけないのではない。
試した後で、その結果を、最初からできていた予測として示さない。それに、一本の線を下向きに直せても、別の高分子や条件でも使えるとは限らない。
今回確かめたモデルの動きと、次に比較したい方法を、別のページへ書き分けた。
その日の夕方、遥は対話型 AI に、自分で整理した二つの図の説明を示した。
予測が上がった理由として、近傍の入れ替わりを確認しました。一方、実験では高分子 X の透過係数が下がりました。この二つの説明を混同している箇所があれば、質問として指摘してください。測定していない膜の状態や、物性差の原因は補わないでください。
返ってきた質問の一つは、同じ特徴量を持たない二つの文献記録を、時間だけを変えた実験のように説明していないか、というものだった。
遥は、入れ替わった二つに付けた「短時間」「長時間」という見出しを見直した。
その呼び方では、二つが対になる実験だったように読める。
「2 時間の入力で選ばれた記録」と「4 時間の入力で選ばれた記録」へ直し、構造と出典も残した。
AI が原因を見つけたわけではない。
自分の説明が、確かめた範囲を越えて読まれないかを、点検するために使った。
翌日、実験を担当した大学院生との打ち合わせには、近傍の表を全部持っていかなかった。
X の二条件と、参考にされた文献記録の作製手順を、それぞれ一枚にまとめた。
「この二つの数字を、もう一度近づけたいという相談ですか」
大学院生に聞かれ、遥は、最初の図を指した。
「予測が全体に高い理由と、時間の違いを逆向きに予測した理由を、分けて考えたいです。まず、同じ名前で記録した条件が、文献と今回の実験でどこまで対応しているかを確認したいと思っています」
大学院生は、冷却から測定までの矢印を見た。
「今回の記録では、処理が終わった時点と、測定した時点をたどれますね。文献側はどうですか」
一部には、測定前の処理の説明がある。しかし、各試料に対応する保管時間や、その間の扱いを、すべて同じ詳しさでは確認できていなかった。
原料のロットや分子量に関する情報も、繰り返し単位の図だけではそろわない。
遥は、表へ「違う」と入れかけた箇所を、「対応を確認できず」にした。
分からないことを見つけても、それが差の原因になった証拠が増えたわけではない。
「長く処理した方が、残っていた溶媒が少なくなったのでしょうか」
遥が尋ねると、大学院生は、手元の記録を見た。
「考えられることの一つです。でも、今回の測定は、その量を直接確かめたものではありません。膜の内部の状態について、別の変化も考えられます」
「残留溶媒が減ったため、と結論に書くのは早いですね」
「はい。何を測れば、その説明を確かめられるかを相談しましょう。追加の測定でも、何の情報が得られ、何は区別できないかを確認したいです」
遥は、仮説の横へ、必要な記録を書く欄を作った。
膜の中で何が変わったかを調べる情報。
まだ膜を作っていない時点で、予測へ渡せる情報。
同じではなかった。
作製後の測定から状態の違いが分かっても、その実測値を作製前の入力に足せるわけではない。利用するなら、予測する段階も、使える情報も、改めて定義する必要がある。
大学院生は、前回値を得られなかった Y の記録も開いた。
「この一枚を追加するとしたら、どう考えていますか」
遥は、B02_Y_4h の空欄を見た。
「新しい膜でこの番号を埋め直すことはしません。Y の二条件の差を確かめたいなら、追加の作製回でも両方を用意する案を相談したいです。以前の B02 と同じ回の対ができたことにはしません」
追加の枚数は、まだ決めなかった。X の方向をもう一度確かめることと、Y の小さな差をどこまで見分けたいかを整理し、使える作製と測定の枠に合わせて相談する。
空欄を一つなくすためではなく、答えたい比較を増やすための実験だった。
席へ戻ると、遥は、今週分かったことを三つの欄へ整理した。
確認した計算。
実験で観察したこと。
まだ確かめていない説明。
近傍が入れ替わり、予測が上がったことは、最初の欄へ置く。
X の三つの作製回で、4 時間の実測値が 2 時間より小さかったことは、二つ目へ置く。Y については、両条件がそろった二組で向きが一致しなかったことと、値のない一枚も残す。
残留溶媒や膜内部の状態、記録にない条件が関係した可能性は、三つ目だった。
欄を分けると、一つの「なぜ」に、違う仕事が重なっていたことが見えた。
モデルの計算をたどる仕事。
比較した実験を説明する仕事。
材料で起きたことを確かめる仕事。
一つが終われば、全部終わるわけではない。
ただ、何も分からなかった一週間でもなかった。
木曜日の報告会で、遥は、上向きの予測と下向きの実測を、もう一度映した。
「今回の X では、予測された二条件の差は、対数値で 0.03 でした。実測では、同じ作製回の差が −0.12、−0.09、−0.09 でした」
新しい実験結果を増やしたわけではないことを、最初に伝えた。
今週行ったのは、作製前に固定したモデルへ戻り、この差がどの記録から出たかを調べる作業だった。
五つの近傍を並べ、共通する四つと、入れ替わる一つを示した。
「これで、実測と逆だった理由が全部分かりましたか」
先生に聞かれ、遥は、三つの欄へ画面を切り替えた。
「全部ではありません。予測が上がる計算の経路は確認できました。でも、参照した記録は時間だけを変えた比較ではありません。今回の膜の実測値が下がった機構も、まだ確かめていません」
「近い記録があるのに、条件を変えた向きが違ったのですね」
「はい。今回の入力で近いことと、同じ材料の条件差を予測する根拠がそろっていることは、同じではありませんでした」
AD を確認することも重要だった。
ただ、距離による注意の目安だけで、この二条件の差を正しく予測できるかまで確かめたことにはならない。
「では、工程を入力にするのをやめますか」
遥は首を横に振った。
「やめる結論ではありません。作製条件を設計したいので、その違いを表す情報は必要です。ただ、表に列があるだけで、その変え方を学べているとは言えません。条件差に関するデータと、モデルの表し方の両方を考えたいです」
先生は、次の検討の欄を見た。
「方法を変えることも、考えていますか」
「はい。構造と工程の情報をどう組み合わせるか、ほかの回帰手法ならどう表せるかは比較したいです。ただし、X のこの線が下向きになる方法を探し、その同じ結果を使って予測できたとは言いません」
すでに、十一枚の値は見ている。
その値から学び直すことはできる。しかし、見ていないことには戻せない。
「次に作るモデルでは、学習に使った膜と、まだ結果を見ていない膜を分けます。同じ膜の測り直しを別側へ置いたり、同じ作製回で共有した事情を無視したりしないよう、今回の記録を使って評価の単位も考えます」
「どの結果を比べますか」
「値そのものの誤差に加え、同じ材料で条件を変えた差も示します。一つの全体平均だけでは、設計に使いたい向きを見落としたからです」
先生は、最初の MAE 0.17 の横へ目を移した。
「その数字は、残しますか」
「残します。作製前の予測と、有効な値を得た十一枚を比べた結果です。その説明に、X の条件差は逆向きだったことも加えます」
先生はうなずいた。
「何に使う予測なのかが、評価の仕方までつながってきましたね」
報告会が終わると、先輩が、二枚の図を並べた画面を見た。
「そろそろ、これまでの検討を、研究室の外へ説明する形でもまとめてみませんか」
秋の国内学会の案内が、slack の別のスレッドに載っていた。
遥は、また反対向きの線を見た。
「よい設計ができました、とは、まだ言えません」
「その題名にしなくてもよいですよ。今の研究で、何を確かめ、何が分かったかは?」
最初は、先輩の高い予測精度を再現した。
数字の来歴と構造を確認し、分け方を変えた。工程を詳しく表し、条件を変える実験を相談した。
その結果、全体の予測誤差だけでは見えなかった違いを、実際の膜との比較で示せるようになった。
「性能の値を当てることと、作製条件の選び方を支えることを、分けて確認する必要がある。そのことなら、今の結果から説明できます」
「では、まず一枚にまとめて、先生にも相談しましょう。ほかの人が何を知りたいかも、一緒に考えたいです」
すぐに発表へ申し込むと決まったわけではない。
それでも、予測が外れた図を、恥ずかしい結果として隠す以外の置き場所が見えた気がした。
席へ戻り、遥は今週の記録を保存した。
prediction_input_audit_v01.csv。
neighbor_trace_v01.csv。
holding_time_prediction_trace_v01.csv。
experiment_literature_alignment_v01.csv。
元の pre_experiment_predictions_v01.csv は、変えていない。
新しい記録からも、どのモデルの、どの入力について調べたかへ戻れるようにした。
slack には、確認したことと次の方針を分けて書いた。
保存したモデルと入力で、作製前の四通りの予測を再現しました。
X の 2 時間と 4 時間では、同じ重みで平均する五つの近傍のうち一つが入れ替わり、予測値が上がっていました。入れ替わった記録は、同じ材料の保持時間だけを変えた実験の対ではありませんでした。
予測が変わった計算上の理由と、実測の透過係数が変わった機構を区別します。文献と実験の条件対応には、未確認の項目が残っています。
今の実験結果を使うモデル改善は、事前予測の評価とは分けます。次は、値の誤差と条件差の両方をどう評価するかを整理し、追加で確かめたい比較と合わせて相談します。
送信すると、隣の同期が尋ねた。
「今週は、線が合った?」
遥は、最初に開いた図を見せた。
「合ってない。予測も実測も、そのまま」
「でも、ずっと何か調べてたよね」
「うん。今は、この上向きが、どの五つの記録から来たかを話せる」
遥は、図の下へ表示した番号を指した。
あのとき「AI がそう言った」としか説明できなかった発表を、少し思い出した。
今日は、モデルが返した値から、自分で読める文献の記録まで戻ってこられた。
分子の中で何が起きたかは、まだ全部は分からない。
けれど、分かった計算を化学の原因に言い換えず、分からないことを次の確認へつなぐことはできる。
新しく開いた発表用の白いページには、まだ題名がなかった。
遥は、その中央へ、二本の線を置いた。
今度は、同じ向きに描き直さなかった。
その違いを、誰かに説明するところから始めようと思った。
===
続きはこちら
