ROC解析を含むすべての観察者実験においては，観察者間の変動や観察者内の変動（繰り返して同じ実験をしても同じ結果にならない原因），さらに実験結果が観察試料の難易度に依存する，という問題点を抱えています．ROC解析においては，連続確信度法を用いることで，観察者間の変動を減少することが可能になりましたが，それでもいくつかの変動は必ず存在し，それらを考慮した統計的有意差の検定法の開発が進められています．最近の新しい手法としては，分散分析やブーツストラップ法（特性曲線を求める際に使われているものとは異なる統計手法の一つです）を応用して，観察者間，観察者内，試料間の母集団の変動をさらにモデル化（標準化）しようとする試みが行われています．興味のある方は以下に参考文献を示しますので，一度，読んでみてください．

1) Beiden SV, Wagner RF, Campbell G. “Components-of-Variance Models and Multiple-Bootstrap Experiments: An Alternative Method for Random-Effects, Receiver Operating Characteristic Analysis”, Acad. Radiol. 2000; 7: 341-349.

2) Wagner RF, Beiden SV, Metz CE, “Continuous versus Categorical Data for ROC Analysis: Some Quantitative Considerations”, Acad. Radiol. 2001; 8: 328-334.

3) Beiden SV, Wagner RF, Campbell G, Metz CE, Jiang Y, “Components-of-Variance Models for Random-Effects ROC Analysis: The Case of Unequal Variances Structures Across Modalities”, Acad. Radiol 2001; 8: 605-615

4) Beiden SV, Wagner RF, Campbell G, Chan H, “Analysis of Uncertainties in Estimates of Components of Variance in Multiple ROC Analysis”, Acad. Radiol 2001; 8:616-622