Abstract Maintenance of sufficient healthy green leaf area after anthesis is key to ensuring an adequate assimilate supply for grain filling. Tightly regulated age-related physiological senescence and various biotic and abiotic stressors drive overall greenness decay dynamics under field conditions. Besides direct effects on green leaf area in terms of leaf damage, stressors often anticipate or accelerate physiological senescence, which may multiply their negative impact on grain filling. Here, we present an image processing methodology that enables the monitoring of chlorosis and necrosis separately for ears and shoots (stems + leaves) based on deep learning models for semantic segmentation and color properties of vegetation. A vegetation segmentation model was trained using semi-synthetic training data generated using image composition and generative adversarial neural networks, which greatly reduced the risk of annotation uncertainties and annotation effort. Application of the models to image time-series revealed temporal patterns of greenness decay as well as the relative contributions of chlorosis and necrosis. Image-based estimation of greenness decay dynamics was highly correlated with scoring-based estimations (r ≈ 0.9). Contrasting patterns were observed for plots with different levels of foliar diseases, particularly septoria tritici blotch. Our results suggest that tracking the chlorotic and necrotic fractions separately may enable (i) a separate quantification of the contribution of biotic stress and physiological senescence on overall green leaf area dynamics and (ii) investigation of the elusive interaction between biotic stress and physiological senescence. The potentially high-throughput nature of our methodology paves the way to conducting genetic studies of disease resistance and tolerance.

1 Abstract Reliable, quantitative information on the presence and severity of crop diseases is critical for site-specific crop management and resistance breeding. Successful analysis of leaves under naturally variable lighting, presenting multiple disorders, and across phenological stages is a critical step towards high-throughput disease assessments directly in the field. Here, we present a dataset comprising 422 high resolution images of flattened leaves captured under variable outdoor lighting with polygon annotations of leaves, leaf necrosis and insect damage as well as point annotations of Septoria tritici blotch (STB) fruiting bodies (pycnidia) and rust pustules. Based on this dataset, we demonstrate the capability of deep learning for keypoint detection of pycnidia ( F 1 = 0.76) and rust pustules ( F 1 = 0.77) combined with semantic segmentation of leaves ( IoU = 0.96), leaf necrosis ( IoU = 0.77) and insect damage( IoU = 0.69) to reliably detect and quantify the presence of STB, leaf rusts, and insect damage under natural outdoor conditions. An analysis of intra- and inter-annotator agreement on selected images demonstrated that the proposed method achieved a performance close to that of annotators in the majority of the scenarios. We validated the generalization capabilities of the proposed method by testing it on images of unstructured canopies acquired directly in the field and with-out manual interaction with single leaves. The corresponding imaging procedure can be adapted to support automated data acquisition. Model predictions were in good agreement with visual assessments of in-focus regions in these images, despite the presence of new challenges such as variable orientation of leaves and more complex lighting. This underscores the principle feasibility of diagnosing and quantifying the severity of foliar diseases under field conditions using the proposed imaging setup and image processing methods. By demonstrating the ability to diagnose and quantify the severity of multiple diseases in highly natural complex scenarios, we lay out the groundwork for a significantly more efficient, non-invasive in-field analysis of foliar diseases that can support resistance breeding and the implementation of core principles of precision agriculture.

Hyperspectral remote sensing holds the potential to detect and quantify crop diseases in a rapid and non-invasive manner. Such tools could greatly benefit resistance breeding, but their adoption is hampered by i) a lack of specificity to disease-related effects and ii) insufficient robustness to variation in reflectance caused by genotypic diversity and varying environmental conditions, which are fundamental elements of resistance breeding. We hypothesized that relying exclusively on temporal changes in canopy reflectance during pathogenesis may allow to specifically detect and quantify crop diseases whilst minimizing the confounding effects of genotype and environment. To test this hypothesis, we collected time-resolved canopy hyperspectral reflectance data for 18 diverse genotypes on infected and disease-free plots and engineered spectral-temporal features representing this hypothesis. Our results confirm the lack of specificity and robustness of disease assessments based on reflectance spectra at individual time points. We show that changes in spectral reflectance over time are indicative of the presence and severity of septoria tritici blotch (STB) infections. Furthermore, the proposed time-integrated approach facilitated the delineation of disease from physiological senescence, which is pivotal for efficient selection of STB-resistant material under field conditions. A validation of models based on spectral-temporal features on a diverse panel of >300 wheat genotypes offered evidence for the robustness of the proposed method. This study demonstrates the potential of time-resolved canopy reflectance measurements for robust assessments of foliar diseases in the context of resistance breeding.

Quantitative resistance is likely to be more durable than major gene resistance for controlling Septoria tritici blotch (STB) on wheat. Earlier studies hypothesized that resistance affecting the degree of host damage, as measured by the percentage of leaf area covered by STB lesions, is distinct from resistance that affects pathogen reproduction, as measured by the density of pycnidia produced within lesions. We tested this hypothesis using a collection of 335 elite European winter wheat cultivars that was naturally infected by a diverse population of Zymoseptoria tritici in a replicated feld experiment. We used automated image analysis (AIA) of 21420 scanned wheat leaves to obtain quantitative measures of conditional STB intensity that were precise, objective, and reproducible. These measures allowed us to explicitly separate resistance affecting host damage from resistance affecting pathogen reproduction, enabling us to confirm that these resistance traits are largely independent. The cultivar rankings based on host damage were different from the rankings based on pathogen reproduction, indicating that the two forms of resistance should be considered separately in breeding programs aiming to increase STB resistance. We hypothesize that these different forms of resistance are under separate genetic control, enabling them to be recombined to form new cultivars that are highly resistant to STB. We found a significant correlation between rankings based on automated image analysis and rankings based on traditional visual scoring, suggesting that image analysis can complement conventional measurements of STB resistance, based largely on host damage, while enabling a much more precise measure of pathogen reproduction. We showed that measures of pathogen reproduction early in the growing season were the best predictors of host damage late in the growing season, illustrating the importance of breeding for resistance that reduces pathogen reproduction in order to minimize yield losses caused by STB. These data can already be used by breeding programs to choose wheat cultivars that are broadly resistant to naturally diverse Z. tritici populations according to the different classes of resistance.

Canopy temperature (CT) is often interpreted as representing leaf activity traits such as photosynthetic rates, gas exchange rates, or stomatal conductance. This interpretation is based on the observation that leaf activity traits correlate with transpiration which affects leaf temperature. Accordingly, CT measurements may provide a basis for high throughput assessments of the productivity of wheat canopies during early grain filling, which would allow distinguishing functional from dysfunctional stay-green. However, whereas the usefulness of CT as a fast surrogate measure of sustained vigor under soil drying is well established, its potential to quantify leaf activity traits under high-yielding conditions is less clear. To better understand sensitivity limits of CT measurements under high yielding conditions, we generated within-genotype variability in stay-green functionality by means of differential short-term pre-anthesis canopy shading that modified the sink:source balance. We quantified the effects of these modifications on stay-green properties through a combination of gold standard physiological measurements of leaf activity and newly developed methods for organ-level senescence monitoring based on timeseries of high-resolution imagery and deep-learning-based semantic image segmentation. In parallel, we monitored CT by means of a pole-mounted thermal camera that delivered continuous, ultra-high temporal resolution CT data. Our results show that differences in stay-green functionality translate into measurable differences in CT in the absence of major confounding factors. Differences amounted to approximately 0.8°C and 1.5°C for a very high-yielding source-limited genotype, and a medium-yielding sink-limited genotype, respectively. The gradual nature of the effects of shading on CT during the stay-green phase underscore the importance of a high measurement frequency and a time-integrated analysis of CT, whilst modest effect sizes confirm the importance of restricting screenings to a limited range of morphological and phenological diversity.

Canopy temperature (CT) is often interpreted as representing leaf activity traits such as photosynthetic rates, gas exchange rates, or stomatal conductance. Accordingly, CT measurements may provide a basis for high throughput assessments of the productivity of wheat canopies during early grain filling, which would allow distinguishing functional from dysfunctional stay-green. However, whereas the usefulness of CT as a fast surrogate measure of sustained vigor under soil drying is well established, its potential to quantify leaf activity traits under high-yielding conditions is less clear. To better understand sensitivity limits of CT measurements under high yielding conditions, we generated within-genotype variability in stay-green functionality by means of differential short-term pre-anthesis canopy shading that modified the sink:source balance. We quantified the effects of these modifications on stay-green properties through a combination of gold standard physiological measurements of leaf activity and newly developed methods for organ-level senescence monitoring based on timeseries of high-resolution imagery and deep-learning-based semantic image segmentation. In parallel, we monitored CT by means of a pole-mounted thermal camera that delivered continuous, ultra-high temporal resolution CT data. Our results show that differences in leaf activity stemming from differences in stay-green functionality translate into measurable differences in CT in the absence of major confounding factors. Differences amounted to approximately 0.8 degrees C and 1.5 degrees C for a very high-yielding source-limited genotype, and a medium-yielding sink-limited genotype, respectively. The gradual nature of the effects of shading on CT during the stay-green phase underscore the importance of a high measurement frequency and a time-integrated analysis of CT, whilst modest effect sizes confirm the importance of restricting screenings to a limited range of morphological and phenological diversity.

Senescence is a dynamic process that is affected by many environmental, genetic, and physiological factors. Quantifying this process is important for breeding wheat varieties with high yield and of high quality. We present a method that allows up-scaling of the state of the art method - visual scoring - by using image sequences acquired from Unmanned Aerial Vehicles (UAV). This reduces measurement time and environmental changes during the measurement as well as rater bias. We compared the potential of a widely used multispectral sensor and a cheaper high-resolution RGB camera to track the dynamics of senescence. A UAV each was equipped with one of these sensors and used to measure canopy reflectance throughout the senescence process that lasted several weeks, for more than 400 winter wheat cultivars across three field seasons. Multiple spectral and RGB indices were calculated at the experimental plot level and used to model the dynamics of senescence. Model fits were further processed to extract key time points of the senescence phase. By comparing the results of the two sensors with each other and with the visual evaluation, respectively, we show that both sensors allow monitoring of senescence dynamics and measure key time points of the phase with a precision close to that of more sophisticated proximal sensing approaches. Optimal timing of measurements proved to be more important than the choice of sensor, confirming that timely and frequent measurements should be prioritized over more expensive sensors that provide a higher spectral resolution.