Characterizing the performance of image segmentation approaches has been a persistent challenge. Performance analysis is important since segmentation algorithms often have limited accuracy and precision. Interactive drawing of the desired segmentation by human raters has often been the only acceptable approach, and yet suffers from intra-rater and inter-rater variability. Automated algorithms have been sought in order to remove the variability introduced by raters, but such algorithms must be assessed to ensure they are suitable for the task. The performance of raters (human or algorithmic) generating segmentations of medical images has been difficult to quantify because of the difficulty of obtaining or estimating a known true segmentation for clinical data. Although physical and digital phantoms can be constructed for which ground truth is known or readily estimated, such phantoms do not fully reflect clinical images due to the difficulty of constructing phantoms which reproduce the full range of imaging characteristics and normal and pathological anatomical variability observed in clinical data. Comparison to a collection of segmentations by raters is an attractive alternative since it can be carried out directly on the relevant clinical imaging data. However, the most appropriate measure or set of measures with which to compare such segmentations has not been clarified and several measures are used in practice. We present here an expectation-maximization algorithm for simultaneous truth and performance level estimation (STAPLE). The algorithm considers a collection of segmentations and computes a probabilistic estimate of the true segmentation and a measure of the performance level represented by each segmentation. The source of each segmentation in the collection may be an appropriately trained human rater or raters, or may be an automated segmentation algorithm. The probabilistic estimate of the true segmentation is formed by estimating an optimal combination of the segmentations, weighting each segmentation depending upon the estimated performance level, and incorporating a prior model for the spatial distribution of structures being segmented as well as spatial homogeneity constraints. STAPLE is straightforward to apply to clinical imaging data, it readily enables assessment of the performance of an automated image segmentation algorithm, and enables direct comparison of human rater and algorithm performance.

Rationale and Objectives. To examine a statistical validation method based on the spatial overlap between two sets of segmentations of the same anatomy. Materials and Methods. The Dice similarity coefficient (DSC) was used as a statistical validation metric to evaluate the performance of both the reproducibility of manual segmentations and the spatial overlap accuracy of automated probabilistic fractional segmentation of MR images, illustrated on two clinical examples. Example 1: 10 consecutive cases of prostate brachytherapy patients underwent both preoperative 1.5T and intraoperative 0.5T MR imaging. For each case, 5 repeated manual segmentations of the prostate peripheral zone were performed separately on preoperative and on intraoperative images. Example 2: A semi-automated probabilistic fractional segmentation algorithm was applied to MR imaging of 9 cases with 3 types of brain tumors. DSC values were computed and logit-transformed values were compared in the mean with the analysis of variance (ANOVA). Results. Example 1: The mean DSCs of 0.883 (range, 0.876–0.893) with 1.5T preoperative MRI and 0.838 (range, 0.819–0.852) with 0.5T intraoperative MRI (P <.001) were within and at the margin of the range of good reproducibility, respectively. Example 2: Wide ranges of DSC were observed in brain tumor segmentations: Meningiomas (0.519–0.893), astrocytomas (0.487–0.972), and other mixed gliomas (0.490–0.899). Conclusion. The DSC value is a simple and useful summary measure of spatial overlap, which can be applied to studies of reproducibility and accuracy in image segmentation. We observed generally satisfactory but variable validation results in two clinical applications. This metric may be adapted for similar validation tasks.

Intensity-based classification of MR images has proven problematic, even when advanced techniques are used. Intrascan and interscan intensity inhomogeneities are a common source of difficulty. While reported methods have had some success in correcting intrascan inhomogeneities, such methods require supervision for the individual scan. This paper describes a new method called adaptive segmentation that uses knowledge of tissue intensity properties and intensity inhomogeneities to correct and segment MR images. Use of the expectation-maximization (EM) algorithm leads to a method that allows for more accurate segmentation of tissue types as well as better visualization of magnetic resonance imaging (MRI) data, that has proven to be effective in a study that includes more than 1000 brain scans. Implementation and results are described for segmenting the brain in the following types of images: axial (dual-echo spin-echo), coronal [three dimensional Fourier transform (3-DFT) gradient-echo T1-weighted] all using a conventional head coil, and a sagittal section acquired using a surface coil. The accuracy of adaptive segmentation was found to be comparable with manual segmentation, and closer to manual segmentation than supervised multivariant classification while segmenting gray and white matter.

We propose a shape-based approach to curve evolution for the segmentation of medical images containing known object types. In particular, motivated by the work of Leventon, Grimson, and Faugeras, we derive a parametric model for an implicit representation of the segmenting curve by applying principal component analysis to a collection of signed distance representations of the training data. The parameters of this representation are then manipulated to minimize an objective function for segmentation. The resulting algorithm is able to handle multidimensional data, can deal with topological changes of the curve, is robust to noise and initial contour placements, and is computationally efficient. At the same time, it avoids the need for point correspondences during the training phase of the algorithm. We demonstrate this technique by applying it to two medical applications; two-dimensional segmentation of cardiac magnetic resonance imaging (MRI) and three-dimensional segmentation of prostate MRI.

OBJECTIVE A major shortcoming of image-guided navigational systems is the use of preoperatively acquired image data, which does not account for intraoperative changes in brain morphology. The occurrence of these surgically induced volumetric deformations (“brain shift”) has been well established. Maximal measurements for surface and midline shifts have been reported. There has been no detailed analysis, however, of the changes that occur during surgery. The use of intraoperative magnetic resonance imaging provides a unique opportunity to obtain serial image data and characterize the time course of brain deformations during surgery. METHODS The vertically open intraoperative magnetic resonance imaging system (SignaSP, 0.5 T; GE Medical Systems, Milwaukee, WI) permits access to the surgical field and allows multiple intraoperative image updates without the need to move the patient. We developed volumetric display software (the 3D Slicer) that allows quantitative analysis of the degree and direction of brain shift. For 25 patients, four or more intraoperative volumetric image acquisitions were extensively evaluated. RESULTS Serial acquisitions allow comprehensive sequential descriptions of the direction and magnitude of intraoperative deformations. Brain shift occurs at various surgical stages and in different regions. Surface shift occurs throughout surgery and is mainly attributable to gravity. Subsurface shift occurs during resection and involves collapse of the resection cavity and intraparenchymal changes that are difficult to model. CONCLUSION Brain shift is a continuous dynamic process that evolves differently in distinct brain regions. Therefore, only serial imaging or continuous data acquisition can provide consistently accurate image guidance. Furthermore, only serial intraoperative magnetic resonance imaging provides an accurate basis for the computational analysis of brain deformations, which might lead to an understanding and eventual simulation of brain shift for intraoperative guidance.

Using electroencephalography (EEG) to elucidate the spontaneous activation of brain resting-state networks (RSNs) is nontrivial as the signal of interest is of low amplitude and it is difficult to distinguish the underlying neural sources. Using the principles of electric field topographical analysis, it is possible to estimate the meta-stable states of the brain (i.e., the resting-state topographies, so-called microstates). We estimated seven resting-state topographies explaining the EEG data set with k-means clustering (N = 164, 256 electrodes). Using a method specifically designed to localize the sources of broadband EEG scalp topographies by matching sensor and source space temporal patterns, we demonstrated that we can estimate the EEG RSNs reliably by measuring the reproducibility of our findings. After subtracting their mean from the seven EEG RSNs, we identified seven state-specific networks. The mean map includes regions known to be densely anatomically and functionally connected (superior frontal, superior parietal, insula, and anterior cingulate cortices). While the mean map can be interpreted as a “router,” crosslinking multiple functional networks, the seven state-specific RSNs partly resemble and extend previous functional magnetic resonance imaging-based networks estimated as the hemodynamic correlates of four canonical EEG microstates.

Fully convolutional neural networks (FCNs), and in particular U-Nets, have achieved state-of-the-art results in semantic segmentation for numerous medical imaging applications. Moreover, batch normalization and Dice loss have been used successfully to stabilize and accelerate training. However, these networks are poorly calibrated i.e. they tend to produce overconfident predictions for both correct and erroneous classifications, making them unreliable and hard to interpret. In this paper, we study predictive uncertainty estimation in FCNs for medical image segmentation. We make the following contributions: 1) We systematically compare cross-entropy loss with Dice loss in terms of segmentation quality and uncertainty estimation of FCNs; 2) We propose model ensembling for confidence calibration of the FCNs trained with batch normalization and Dice loss; 3) We assess the ability of calibrated FCNs to predict segmentation quality of structures and detect out-of-distribution test examples. We conduct extensive experiments across three medical image segmentation applications of the brain, the heart, and the prostate to evaluate our contributions. The results of this study offer considerable insight into the predictive uncertainty estimation and out-of-distribution detection in medical image segmentation and provide practical recipes for confidence calibration. Moreover, we consistently demonstrate that model ensembling improves confidence calibration.

Abstract Mass spectrometry imaging (MSI) is an emerging technology that holds potential for improving clinical diagnosis, biomarker discovery, metabolomics research and pharmaceutical applications. The large data size and high dimensional nature of MSI pose computational and memory complexities that hinder accurate identification of biologically-relevant molecular patterns. We propose msiPL, a robust and generic probabilistic generative model based on a fully-connected variational autoencoder for unsupervised analysis and peak learning of MSI data. The method can efficiently learn and visualize the underlying non-linear spectral manifold, reveal biologically-relevant clusters of tumor heterogeneity and identify underlying informative m/z peaks. The method provides a probabilistic parametric mapping to allow a trained model to rapidly analyze a new unseen MSI dataset in a few seconds. The computational model features a memory-efficient implementation using a minibatch processing strategy to enable the analyses of big MSI data (encompassing more than 1 million high-dimensional datapoints) with significantly less memory. We demonstrate the robustness and generic applicability of the application on MSI data of large size from different biological systems and acquired using different mass spectrometers at different centers, namely: 2D Matrix-Assisted Laser Desorption Ionization (MALDI) Fourier Transform Ion Cyclotron Resonance (FT ICR) MSI data of human prostate cancer, 3D MALDI Time-of-Flight (TOF) MSI data of human oral squamous cell carcinoma, 3D Desorption Electrospray Ionization (DESI) Orbitrap MSI data of human colorectal adenocarcinoma, 3D MALDI TOF MSI data of mouse kidney, and 3D MALDI FT ICR MSI data of a patient-derived xenograft (PDX) mouse brain model of glioblastoma. Significance Mass spectrometry imaging (MSI) provides detailed molecular characterization of a tissue specimen while preserving spatial distributions. However, the complex nature of MSI data slows down the processing time and poses computational and memory challenges that hinder the analysis of multiple specimens required to extract biologically relevant patterns. Moreover, the subjectivity in the selection of parameters for conventional pre-processing approaches can lead to bias. Here, we present a generative probabilistic deep-learning model that can analyze and non-linearly visualize MSI data independent of the nature of the specimen and of the MSI platform. We demonstrate robustness of the method with application to different tissue types, and envision it as a new generation of rapid and robust analysis for mass spectrometry data.

Abstract Motivation Mass spectrometry imaging (MSI) provides rich biochemical information in a label-free manner and therefore holds promise to substantially impact current practice in disease diagnosis. However, the complex nature of MSI data poses computational challenges in its analysis. The complexity of the data arises from its large size, high dimensionality, and spectral non-linearity. Preprocessing, including peak picking, has been used to reduce raw data complexity, however peak picking is sensitive to parameter selection that, perhaps prematurely, shapes the downstream analysis for tissue classification and ensuing biological interpretation. Results We propose a deep learning model, massNet, that provides the desired qualities of scalability, non-linearity, and speed in MSI data analysis. This deep learning model was used, without prior preprocessing and peak picking, to classify MSI data from a mouse brain harboring a patient-derived tumor. The massNet architecture established automatically learning of predictive features, and automated methods were incorporated to identify peaks with potential for tumor delineation. The model’s performance was assessed using cross-validation, and the results demonstrate higher accuracy and a 174-fold gain in speed compared to the established classical machine learning method, support vector machine. Availability and Implementation The code is publicly available on GitHub.