Convolutional neural networks (CNNs) show potential for computer-aided diagnosis (CADx) by learning features directly from the image data instead of using analytically extracted features. However, CNNs are difficult to train from scratch for medical images due to small sample sizes and variations in tumor presentations. Instead, transfer learning can be used to extract tumor information from medical images via CNNs originally pretrained for nonmedical tasks, alleviating the need for large datasets. Our database includes 219 breast lesions (607 full-field digital mammographic images). We compared support vector machine classifiers based on the CNN-extracted image features and our prior computer-extracted tumor features in the task of distinguishing between benign and malignant breast lesions. Five-fold cross validation (by lesion) was conducted with the area under the receiver operating characteristic (ROC) curve as the performance metric. Results show that classifiers based on CNN-extracted features (with transfer learning) perform comparably to those using analytically extracted features [area under the ROC curve (AUC)=0.81]. Further, the performance of ensemble classifiers based on both types was significantly better than that of either classifier type alone (AUC=0.86 versus 0.81, p=0.022). We conclude that transfer learning can improve current CADx methods while also providing standalone classifiers without large datasets, facilitating machine-learning methods in radiomics and precision medicine.

The authors investigated the potential utility of artificial neural networks as a decision-making aid to radiologists in the analysis of mammographic data. Three-layer, feed-forward neural networks with a back-propagation algorithm were trained for the interpretation of mammograms on the basis of features extracted from mammograms by experienced radiologists. A network that used 43 image features performed well in distinguishing between benign and malignant lesions, yielding a value of 0.95 for the area under the receiver operating characteristic curve for textbook cases in a test with the round-robin method. With clinical cases, the performance of a neural network in merging 14 radiologist-extracted features of lesions to distinguish between benign and malignant lesions was found to be higher than the average performance of attending and resident radiologists alone (without the aid of a neural network). The authors conclude that such networks may provide a potentially useful tool in the mammographic decision-making task of distinguishing between benign and malignant lesions.

Purpose To investigate relationships between computer-extracted breast magnetic resonance (MR) imaging phenotypes with multigene assays of MammaPrint, Oncotype DX, and PAM50 to assess the role of radiomics in evaluating the risk of breast cancer recurrence. Materials and Methods Analysis was conducted on an institutional review board-approved retrospective data set of 84 deidentified, multi-institutional breast MR examinations from the National Cancer Institute Cancer Imaging Archive, along with clinical, histopathologic, and genomic data from The Cancer Genome Atlas. The data set of biopsy-proven invasive breast cancers included 74 (88%) ductal, eight (10%) lobular, and two (2%) mixed cancers. Of these, 73 (87%) were estrogen receptor positive, 67 (80%) were progesterone receptor positive, and 19 (23%) were human epidermal growth factor receptor 2 positive. For each case, computerized radiomics of the MR images yielded computer-extracted tumor phenotypes of size, shape, margin morphology, enhancement texture, and kinetic assessment. Regression and receiver operating characteristic analysis were conducted to assess the predictive ability of the MR radiomics features relative to the multigene assay classifications. Results Multiple linear regression analyses demonstrated significant associations (R2 = 0.25-0.32, r = 0.5-0.56, P < .0001) between radiomics signatures and multigene assay recurrence scores. Important radiomics features included tumor size and enhancement texture, which indicated tumor heterogeneity. Use of radiomics in the task of distinguishing between good and poor prognosis yielded area under the receiver operating characteristic curve values of 0.88 (standard error, 0.05), 0.76 (standard error, 0.06), 0.68 (standard error, 0.08), and 0.55 (standard error, 0.09) for MammaPrint, Oncotype DX, PAM50 risk of relapse based on subtype, and PAM50 risk of relapse based on subtype and proliferation, respectively, with all but the latter showing statistical difference from chance. Conclusion Quantitative breast MR imaging radiomics shows promise for image-based phenotyping in assessing the risk of breast cancer recurrence. © RSNA, 2016 Online supplemental material is available for this article.

Accurate quantification of the shape and extent of breast tumors has a vital role in nearly all applications of breast magnetic resonance (MR) imaging (MRI). Specifically, tumor segmentation is a key component in the computerized assessment of likelihood of malignancy. However, manual delineation of lesions in four-dimensional MR images is labor intensive and subject to interobserver and intraobserver variations. We developed a computerized lesion segmentation method that has the advantage of being automatic, efficient, and objective.We present a fuzzy c-means (FCM) clustering-based method for the segmentation of breast lesions in three dimensions from contrast-enhanced MR images. The proposed lesion segmentation algorithm consists of six consecutive stages: region of interest (ROI) selection by a human operator, lesion enhancement within the selected ROI, application of FCM on the enhanced ROI, binarization of the lesion membership map, connected-component labeling and object selection, and hole-filling on the selected object. We applied the algorithm to a clinical MR database consisting of 121 primary mass lesions. Manual segmentation of the lesions by an expert MR radiologist served as a reference in the evaluation of the computerized segmentation method. We also compared the proposed algorithm with a previously developed volume-growing (VG) method.For the 121 mass lesions in our database, 97% of lesions were segmented correctly by means of the proposed FCM-based method at an overlap threshold of 0.4, whereas 84% of lesions were correctly segmented by means of the VG method.Our proposed algorithm for breast-lesion segmentation in dynamic contrast-enhanced MRI was shown to be effective and efficient.

Background Deep learning methods for radiomics/computer‐aided diagnosis ( CAD x) are often prohibited by small datasets, long computation time, and the need for extensive image preprocessing. Aims We aim to develop a breast CAD x methodology that addresses the aforementioned issues by exploiting the efficiency of pre‐trained convolutional neural networks ( CNN s) and using pre‐existing handcrafted CAD x features. Materials & Methods We present a methodology that extracts and pools low‐ to mid‐level features using a pretrained CNN and fuses them with handcrafted radiomic features computed using conventional CAD x methods. Our methodology is tested on three different clinical imaging modalities (dynamic contrast enhanced‐ MRI [690 cases], full‐field digital mammography [245 cases], and ultrasound [1125 cases]). Results From ROC analysis, our fusion‐based method demonstrates, on all three imaging modalities, statistically significant improvements in terms of AUC as compared to previous breast cancer CAD x methods in the task of distinguishing between malignant and benign lesions. ( DCE ‐ MRI [ AUC = 0.89 (se = 0.01)], FFDM [ AUC = 0.86 (se = 0.01)], and ultrasound [ AUC = 0.90 (se = 0.01)]). Discussion/Conclusion We proposed a novel breast CAD x methodology that can be used to more effectively characterize breast lesions in comparison to existing methods. Furthermore, our proposed methodology is computationally efficient and circumvents the need for image preprocessing.

Using quantitative radiomics, we demonstrate that computer-extracted magnetic resonance (MR) image-based tumor phenotypes can be predictive of the molecular classification of invasive breast cancers. Radiomics analysis was performed on 91 MRIs of biopsy-proven invasive breast cancers from National Cancer Institute's multi-institutional TCGA/TCIA. Immunohistochemistry molecular classification was performed including estrogen receptor, progesterone receptor, human epidermal growth factor receptor 2, and for 84 cases, the molecular subtype (normal-like, luminal A, luminal B, HER2-enriched, and basal-like). Computerized quantitative image analysis included: three-dimensional lesion segmentation, phenotype extraction, and leave-one-case-out cross validation involving stepwise feature selection and linear discriminant analysis. The performance of the classifier model for molecular subtyping was evaluated using receiver operating characteristic analysis. The computer-extracted tumor phenotypes were able to distinguish between molecular prognostic indicators; area under the ROC curve values of 0.89, 0.69, 0.65, and 0.67 in the tasks of distinguishing between ER+ versus ER-, PR+ versus PR-, HER2+ versus HER2-, and triple-negative versus others, respectively. Statistically significant associations between tumor phenotypes and receptor status were observed. More aggressive cancers are likely to be larger in size with more heterogeneity in their contrast enhancement. Even after controlling for tumor size, a statistically significant trend was observed within each size group (P = 0.04 for lesions ≤ 2 cm; P = 0.02 for lesions >2 to ≤5 cm) as with the entire data set (P-value = 0.006) for the relationship between enhancement texture (entropy) and molecular subtypes (normal-like, luminal A, luminal B, HER2-enriched, basal-like). In conclusion, computer-extracted image phenotypes show promise for high-throughput discrimination of breast cancer subtypes and may yield a quantitative predictive signature for advancing precision medicine.

Abstract Automated image analysis aims to extract relevant information from contrast‐enhanced magnetic resonance images (CE‐MRI) of the breast and improve the accuracy and consistency of image interpretation. In this work, we extend the traditional 2D gray‐level co‐occurrence matrix (GLCM) method to investigate a volumetric texture analysis approach and apply it for the characterization of breast MR lesions. Our database of breast MR images was obtained using a T1‐weighted 3D spoiled gradient echo sequence and consists of 121 biopsy‐proven lesions (77 malignant and 44 benign). A fuzzy c‐means clustering (FCM) based method is employed to automatically segment 3D breast lesions on CE‐MR images. For each 3D lesion, a nondirectional GLCM is then computed on the first postcontrast frame by summing 13 directional GLCMs. Texture features are extracted from the nondirectional GLCMs and the performance of each texture feature in the task of distinguishing between malignant and benign breast lesions is assessed by receiver operating characteristics (ROC) analysis. Our results show that the classification performance of volumetric texture features is significantly better than that based on 2D analysis. Our investigations of the effects of various of parameters on the diagnostic accuracy provided means for the optimal use of the approach. Magn Reson Med 58:562–571, 2007. © 2007 Wiley‐Liss, Inc.

Purpose To evaluate the potential utility of a number of parameters obtained at T2-weighted, diffusion-weighted, and dynamic contrast material–enhanced multiparametric magnetic resonance (MR) imaging for computer-aided diagnosis (CAD) of prostate cancer and assessment of cancer aggressiveness. Materials and Methods In this institutional review board–approved HIPAA-compliant study, multiparametric MR images were acquired with an endorectal coil in 48 patients with prostate cancer (median age, 62.5 years; age range, 44–73 years) who subsequently underwent prostatectomy. A radiologist and a pathologist identified 104 regions of interest (ROIs) (61 cancer ROIs, 43 normal ROIs) based on correlation of histologic and MR findings. The 10th percentile and average apparent diffusion coefficient (ADC) values, T2-weighted signal intensity histogram skewness, and Tofts Ktrans were analyzed, both individually and combined, via linear discriminant analysis, with receiver operating characteristic curve analysis with area under the curve (AUC) as figure of merit, to distinguish cancer foci from normal foci. Spearman rank-order correlation (ρ) was calculated between cancer foci Gleason score (GS) and image features. Results AUC (maximum likelihood estimate ± standard error) values in the differentiation of prostate cancer from normal foci of 10th percentile ADC, average ADC, T2-weighted skewness, and Ktrans were 0.92 ± 0.03, 0.89 ± 0.03, 0.86 ± 0.04, and 0.69 ± 0.04, respectively. The combination of 10th percentile ADC, average ADC, and T2-weighted skewness yielded an AUC value for the same task of 0.95 ± 0.02. GS correlated moderately with 10th percentile ADC (ρ = −0.34, P = .008), average ADC (ρ = −0.30, P = .02), and Ktrans (ρ = 0.38, P = .004). Conclusion The combination of 10th percentile ADC, average ADC, and T2-weighted skewness with CAD is promising in the differentiation of prostate cancer from normal tissue. ADC image features and Ktrans moderately correlate with GS. © RSNA, 2013

T follicular helper (TFH) cells are critical for B cell activation in germinal centers and are often observed in human inflamed tissue. However, it is difficult to know if they contribute in situ to inflammation. Expressed markers define TFH subsets associated with distinct functions in vitro. However, such markers may not reflect in situ function. The delivery of T cell help to B cells requires direct cognate recognition. We hypothesized that by visualizing and quantifying such interactions, we could directly assess TFH cell competency in situ. Therefore, we developed computational tools to quantify spatial relationships between different cell subtypes in tissue [cell distance mapping (CDM)]. Analysis of inflamed human tissues indicated that measurement of internuclear distances between TFH and B cells could be used to discriminate between apparent cognate and noncognate interactions. Furthermore, only cognate-competent TFH cell populations expressed high levels of Bcl-6 and interleukin-21. These data suggest that CDM can be used to identify adaptive immune cell networks driving in situ inflammation. Such knowledge should help identify diseases, and disease subsets, that may benefit from therapeutic targeting of specific T cell-antigen-presenting cell interactions.

Abstract The rapid development of highly multiplexed microscopy systems has enabled the study of cells embedded within their native tissue, which is providing exciting insights into the spatial features of human disease [1]. However, computational methods for analyzing these high-content images are still emerging, and there is a need for more robust and generalizable tools for evaluating the cellular constituents and underlying stroma captured by high-plex imaging [2]. To address this need, we have adapted spectral angle mapping – an algorithm used widely in hyperspectral image analysis – to compress the channel dimension of high-plex immunofluorescence images. As many high-plex immunofluorescence imaging experiments probe unique sets of protein markers, existing cell and pixel classification models do not typically generalize well. Pseudospectral angle mapping (pSAM) uses reference pseudospectra – or pixel vectors – to assign each pixel in an image a similarity score to several cell class reference vectors, which are defined by each unique staining panel. Here, we demonstrate that the class maps provided by pSAM can directly provide insight into the prevalence of each class defined by reference pseudospectra. In a dataset of high-plex images of colon biopsies from patients with gut autoimmune conditions, sixteen pSAM class representation maps were combined with instance segmentation of cells to provide cell class predictions. Finally, pSAM detected a diverse set of structure and immune cells when applied to a novel dataset of kidney biopsies imaged with a 43-marker panel. In summary, pSAM provides a powerful and readily generalizable method for evaluating high-plex immunofluorescence image data. Significance Statement Understanding the cellular constituents captured by highly multiplexed tissue imaging is a major limitation affecting the usability of these novel imaging methods. Many imaging experiments have uniquely designed staining panels, reducing the generalizability of cell classification models to new datasets. We present pseudospectral angle mapping (pSAM), which can compress high-dimensional image data into class representations. We demonstrate that the class representations generated by pSAM can be used to interpret high-plex image data and guide cell classification. Importantly, we also demonstrate that pSAM can generalize to new image datasets—collected with a different staining panel in samples from different tissues—without manual image annotation, subjective intensity gating, or re-training an algorithm.