論文を読み、信用できるかを判断する手順
論文読解の目的は読み終えることではなく、その結論が自分の問題に使えるかを判断することです。主張と根拠を先に分け、細部を読むかどうかは後で決めます。
進め方
まず何を証明したのかを問う
要約、序論の最後の段落、結論だけを「論文を読む」に貼り、3点を答えさせます。何を証明したと主張しているか、その主張が届く範囲、一文だけ残すならどれか。方法の節はまだ渡しません。渡すと細部に入り込み、読む価値があるかを先に判断できなくなります。
議論の構造を描く
「議論の構造を描く」で、前提・推論・結論を一本の鎖にし、著者が書いていない一段を補わせます。多くの論文の穴はそこにあります。「このデータセットで有効」から「この手法は一般に有効」へ、橋を架けずに飛んでいます。
各主張の裏づけを確かめる
「データの裏づけを確かめる」で、「研究によると」「有意に優れる」といった文を拾い、標本の大きさ、対照群、指標の定義を一つずつ問います。要約の「有意」と結果表の「有意」は同じとは限りません。前者は修辞で、後者が統計です。
数字の定義がすり替わっていないか見る
「集計定義の落とし穴」で3点を見ます。分母は誰か、比較対象は著者自身が調整したものではないか、最も良い結果だけを載せていないか。同じデータでも定義が変われば別の話になります。捏造ではありませんが、実際より強く見えます。
相関か因果かを見極める
「相関か、因果か」を使います。AがBを引き起こすと主張するなら、ランダム化、自然実験、観測データのどれかを見ます。観測データだけの場合、「変数を統制した」は交絡を除いたことと同じではありません。結論は引用できますが、条件を添えて引用します。
使うプロンプト
よくある質問
数学の部分が分からなくても、信頼性は判断できますか
多くの場合は判断できます。信頼性は数式より設計に依存します。対照群があるか、標本をどう集めたか、指標を誰が決めたか、結論がデータを超えていないか。数式は導出が正しいかを決め、これらの問いは研究を信じる価値があるかを決めます。
プレプリントは引用してもいいですか
読むのは構いませんが、査読前のプレプリントであると明記して引用します。判断では、データとコードが公開されているか、批判に著者が応答しているか、独立に再現された例があるかを見ます。どれもなければ、根拠ではなく手がかりとして扱います。
論文で有効とあれば、そのまま導入していいですか
まず3点を見ます。実験環境と自分の環境の差、効果の大きさが必要な水準か、失敗したときに何が起きるか。論文は平均的な効果を報告し、最悪の場合はほとんど報告しません。小さく試すほうが、方法の節を10回読むより役に立ちます。