Significance Plant stress identification based on visual symptoms has predominately remained a manual exercise performed by trained pathologists, primarily due to the occurrence of confounding symptoms. However, the manual rating process is tedious, is time-consuming, and suffers from inter- and intrarater variabilities. Our work resolves such issues via the concept of explainable deep machine learning to automate the process of plant stress identification, classification, and quantification. We construct a very accurate model that can not only deliver trained pathologist-level performance but can also explain which visual symptoms are used to make predictions. We demonstrate that our method is applicable to a large variety of biotic and abiotic stresses and is transferable to other imaging conditions and plants.

Hyperspectral imaging is emerging as a promising approach for plant disease identification. The large and possibly redundant information contained in hyperspectral data cubes makes deep learning based identification of plant diseases a natural fit. Here, we deploy a novel 3D deep convolutional neural network (DCNN) that directly assimilates the hyperspectral data. Furthermore, we interrogate the learnt model to produce physiologically meaningful explanations. We focus on an economically important disease, charcoal rot, which is a soil borne fungal disease that affects the yield of soybean crops worldwide.Based on hyperspectral imaging of inoculated and mock-inoculated stem images, our 3D DCNN has a classification accuracy of 95.73% and an infected class F1 score of 0.87. Using the concept of a saliency map, we visualize the most sensitive pixel locations, and show that the spatial regions with visible disease symptoms are overwhelmingly chosen by the model for classification. We also find that the most sensitive wavelengths used by the model for classification are in the near infrared region (NIR), which is also the commonly used spectral range for determining the vegetative health of a plant.The use of an explainable deep learning model not only provides high accuracy, but also provides physiological insight into model predictions, thus generating confidence in model predictions. These explained predictions lend themselves for eventual use in precision agriculture and research application using automated phenotyping platforms.

Abstract Nodules form on plant roots through the symbiotic relationship between soybean ( Glycine max L. Merr.) roots and bacteria ( Bradyrhizobium japonicum ), and are an important structure where atmospheric nitrogen (N 2 ) is fixed into bio-available ammonia (NH 3 ) for plant growth and developmental. Nodule quantification on soybean roots is a laborious and tedious task; therefore, assessment is done on a less informative qualitative scale. We report the Soybean Nodule Acquisition Pipeline (SNAP) for nodule quantification that combines RetinaNet and UNet deep learning architectures for object (i.e., nodule) detection and segmentation. SNAP was built using data from 691 unique roots from diverse soybean genotypes, vegetative growth stages, and field locations; and has a prediction accuracy of 99%. SNAP reduces the human labor and inconsistencies of counting nodules, while acquiring quantifiable traits related to nodule growth, location and distribution on roots. The ability of SNAP to phenotype nodules on soybean roots at a higher throughput enables researchers to assess the genetic and environmental factors, and their interactions on nodulation from an early development stage. The application of SNAP in research and breeding pipelines may lead to more nitrogen use efficient soybean and other legume species cultivars, as well as enhanced insight into the plant- Bradyrhizobium relationship.

Soybean (

Recognizing the activities causing distraction in real-world driving scenarios is critical for ensuring the safety and reliability of both drivers and pedestrians on the roadways. Conventional computer vision techniques are typically data-intensive and require a large volume of annotated training data to detect and classify various distracted driving behaviors, thereby limiting their efficiency and scalability. We aim to develop a generalized framework that showcases robust performance with access to limited or no annotated training data. Recently, vision-language models have offered large-scale visual-textual pretraining that can be adapted to task-specific learning like distracted driving activity recognition. Vision-language pretraining models, such as CLIP, have shown significant promise in learning natural language-guided visual representations. This paper proposes a CLIP-based driver activity recognition approach that identifies driver distraction from naturalistic driving images and videos. CLIP's vision embedding offers zero-shot transfer and task-based finetuning, which can classify distracted activities from driving video data. Our results show that this framework offers state-of-the-art performance on zero-shot transfer and video-based CLIP for predicting the driver's state on two public datasets. We propose both frame-based and video-based frameworks developed on top of the CLIP's visual representation for distracted driving detection and classification tasks and report the results.

Introduction Effective monitoring of insect-pests is vital for safeguarding agricultural yields and ensuring food security. Recent advances in computer vision and machine learning have opened up significant possibilities of automated persistent monitoring of insect-pests through reliable detection and counting of insects in setups such as yellow sticky traps. However, this task is fraught with complexities, encompassing challenges such as, laborious dataset annotation, recognizing small insect-pests in low-resolution or distant images, and the intricate variations across insect-pests life stages and species classes. Methods To tackle these obstacles, this work investigates combining two solutions, Hierarchical Transfer Learning (HTL) and Slicing-Aided Hyper Inference (SAHI), along with applying a detection model. HTL pioneers a multi-step knowledge transfer paradigm, harnessing intermediary in-domain datasets to facilitate model adaptation. Moreover, slicing-aided hyper inference subdivides images into overlapping patches, conducting independent object detection on each patch before merging outcomes for precise, comprehensive results. Results The outcomes underscore the substantial improvement achievable in detection results by integrating a diverse and expansive in-domain dataset within the HTL method, complemented by the utilization of SAHI. Discussion We also present a hardware and software infrastructure for deploying such models for real-life applications. Our results can assist researchers and practitioners looking for solutions for insect-pest detection and quantification on yellow sticky traps.

Societal Impact Statement Maize plays a key role in agricultural profitability and food security on six continents. Successful efforts to breed higher‐yielding maize varieties depend on replicated yield trials in many environments. Capturing in‐season data can help improve and accelerate the development of regionally adapted hybrids, but collecting these data can be impractical in many locations. We demonstrate that satellite remote sensing could play a similar role in crop performance assessment as unmanned aerial vehicles (UAVs) but with far lower labor costs and the greatest ease of collection at remote field sites. This dataset and benchmarks have the potential to enable predictive models that could guide farmers and crop breeders in decision‐making. Summary Accurate early yield estimates at fields and plots offer potential benefits to farmers in optimizing their agronomic practices and breeders in screening thousands of varieties contributing to improving agriculture and food production systems. Effective approaches to track plant growth and predict yield require large datasets of remote sensing and ground truth data collected across multiple environments. Low‐altitude drone flights are increasingly being used to collect data from field evaluations of new crop varieties, while satellite imagery is being explored to track yield and management practices at regional scales. Satellite platforms exhibit logistical and technical advantages in scalability and accessibility and could facilitate plot‐level predictions, especially with steadily improving spatial resolution. However, plot‐level, high‐resolution satellite images capturing differences in genotypes from multiple environments with ground truth measurements are not publicly available. Here, we generated, described, and evaluated over 20,000 plot‐level images of over 80 hybrid maize varieties grown across the US corn belt under various management practices collected from (near simultaneous) satellite and drone (synonym UAVs, UASs) flights integrated with ground truth yield measurement. Of the six baseline models examined, models employing data collected from satellite images often matched the performance of models employing drone images for both within and cross‐environment yield prediction.

Despite numerous screening tools for colorectal cancer (CRC), 25% of patients are diagnosed with advanced disease. Novel diagnostic technologies that are early, accurate, and rapid are imperative to assess the therapeutic efficacy of clinical drugs and identify new biomarkers of treatment response. Here Raman spectroscopy (RS) was used to track metabolic reprogramming in KRAS‐mutant HCT116 and SW837 cells, and KRAS wild‐type CC cells. RS combined with multivariate analysis methods distinguished nonresponsive, partially responsive, and responsive cells treated with cetuximab, a monoclonal antibody for EGFR inhibition, sotorasib, a clinically approved KRAS inhibitor, and various doses of trametinib, an inhibitor of the MAPK pathway. Cells treated with a combination of subtoxic doses of trametinib and BKM120, an inhibitor of the PI3K pathway, showed a synergistic response between the two pathways. Using a supervised machine learning regression model, we established a scoring methodology trained to a priori predict therapeutic response to new treatment combinations. RS metabolites were verified with mass spectrometry, and enrichment pathways were identified, including amino acid, purine, and nicotinate and nicotinamide metabolism that differentiated monotherapy from combination therapy. Our approach may ultimately be applicable to patient‐derived primary cells and cultures of patient tumors to predict effective drugs for individualized care.

Abstract Gestational diabetes mellitus (GDM) is a pregnancy disorder associated with short‐ and long‐term adverse outcomes in both mothers and infants. The current clinical test of blood glucose levels late in the second trimester is inadequate for early detection of GDM. Here we show the utility of Raman spectroscopy (RS) for rapid and highly sensitive maternal metabolome screening for GDM in the first trimester. Key metabolites, including phospholipids, carbohydrates, and major amino acids, were identified with RS and validated with mass spectrometry, enabling insights into associated metabolic pathway enrichment. Using classical machine learning (ML) approaches, we showed the performance of the RS metabolic model (cross‐validation AUC 0.97) surpassed that achieved with patients' clinical data alone (cross‐validation AUC 0.59) or prior studies with single biomarkers. Further, we analyzed novel proteins and identified fetuin‐A as a promising candidate for early GDM prediction. A correlation analysis showed a moderate to strong correlation between multiple metabolites and proteins, suggesting a combined protein‐metabolic analysis integrated with ML would enable a powerful screening platform for first trimester diagnosis. Our study underscores RS metabolic profiling as a cost‐effective tool that can be integrated into the current clinical workflow for accurate risk stratification of GDM and to improve both maternal and neonatal outcomes.