A principal challenge in the analysis of tissue imaging data is cell segmentation-the task of identifying the precise boundary of every cell in an image. To address this problem we constructed TissueNet, a dataset for training segmentation models that contains more than 1 million manually labeled cells, an order of magnitude more than all previously published segmentation training datasets. We used TissueNet to train Mesmer, a deep-learning-enabled segmentation algorithm. We demonstrated that Mesmer is more accurate than previous methods, generalizes to the full diversity of tissue types and imaging platforms in TissueNet, and achieves human-level performance. Mesmer enabled the automated extraction of key cellular features, such as subcellular localization of protein signal, which was challenging with previous approaches. We then adapted Mesmer to harness cell lineage information in highly multiplexed datasets and used this enhanced version to quantify cell morphology changes during human gestation. All code, data and models are released as a community resource.

COVID-19 is associated with increased risks of neurological and psychiatric sequelae in the weeks and months thereafter. How long these risks remain, whether they affect children and adults similarly, and whether SARS-CoV-2 variants differ in their risk profiles remains unclear.In this analysis of 2-year retrospective cohort studies, we extracted data from the TriNetX electronic health records network, an international network of de-identified data from health-care records of approximately 89 million patients collected from hospital, primary care, and specialist providers (mostly from the USA, but also from Australia, the UK, Spain, Bulgaria, India, Malaysia, and Taiwan). A cohort of patients of any age with COVID-19 diagnosed between Jan 20, 2020, and April 13, 2022, was identified and propensity-score matched (1:1) to a contemporaneous cohort of patients with any other respiratory infection. Matching was done on the basis of demographic factors, risk factors for COVID-19 and severe COVID-19 illness, and vaccination status. Analyses were stratified by age group (age <18 years [children], 18-64 years [adults], and ≥65 years [older adults]) and date of diagnosis. We assessed the risks of 14 neurological and psychiatric diagnoses after SARS-CoV-2 infection and compared these risks with the matched comparator cohort. The 2-year risk trajectories were represented by time-varying hazard ratios (HRs) and summarised using the 6-month constant HRs (representing the risks in the earlier phase of follow-up, which have not yet been well characterised in children), the risk horizon for each outcome (ie, the time at which the HR returns to 1), and the time to equal incidence in the two cohorts. We also estimated how many people died after a neurological or psychiatric diagnosis during follow-up in each age group. Finally, we compared matched cohorts of patients diagnosed with COVID-19 directly before and after the emergence of the alpha (B.1.1.7), delta (B.1.617.2), and omicron (B.1.1.529) variants.We identified 1 487 712 patients with a recorded diagnosis of COVID-19 during the study period, of whom 1 284 437 (185 748 children, 856 588 adults, and 242 101 older adults; overall mean age 42·5 years [SD 21·9]; 741 806 [57·8%] were female and 542 192 [42·2%] were male) were adequately matched with an equal number of patients with another respiratory infection. The risk trajectories of outcomes after SARS-CoV-2 infection in the whole cohort differed substantially. While most outcomes had HRs significantly greater than 1 after 6 months (with the exception of encephalitis; Guillain-Barré syndrome; nerve, nerve root, and plexus disorder; and parkinsonism), their risk horizons and time to equal incidence varied greatly. Risks of the common psychiatric disorders returned to baseline after 1-2 months (mood disorders at 43 days, anxiety disorders at 58 days) and subsequently reached an equal overall incidence to the matched comparison group (mood disorders at 457 days, anxiety disorders at 417 days). By contrast, risks of cognitive deficit (known as brain fog), dementia, psychotic disorders, and epilepsy or seizures were still increased at the end of the 2-year follow-up period. Post-COVID-19 risk trajectories differed in children compared with adults: in the 6 months after SARS-CoV-2 infection, children were not at an increased risk of mood (HR 1·02 [95% CI 0·94-1·10) or anxiety (1·00 [0·94-1·06]) disorders, but did have an increased risk of cognitive deficit, insomnia, intracranial haemorrhage, ischaemic stroke, nerve, nerve root, and plexus disorders, psychotic disorders, and epilepsy or seizures (HRs ranging from 1·20 [1·09-1·33] to 2·16 [1·46-3·19]). Unlike adults, cognitive deficit in children had a finite risk horizon (75 days) and a finite time to equal incidence (491 days). A sizeable proportion of older adults who received a neurological or psychiatric diagnosis, in either cohort, subsequently died, especially those diagnosed with dementia or epilepsy or seizures. Risk profiles were similar just before versus just after the emergence of the alpha variant (n=47 675 in each cohort). Just after (vs just before) the emergence of the delta variant (n=44 835 in each cohort), increased risks of ischaemic stroke, epilepsy or seizures, cognitive deficit, insomnia, and anxiety disorders were observed, compounded by an increased death rate. With omicron (n=39 845 in each cohort), there was a lower death rate than just before emergence of the variant, but the risks of neurological and psychiatric outcomes remained similar.This analysis of 2-year retrospective cohort studies of individuals diagnosed with COVID-19 showed that the increased incidence of mood and anxiety disorders was transient, with no overall excess of these diagnoses compared with other respiratory infections. In contrast, the increased risk of psychotic disorder, cognitive deficit, dementia, and epilepsy or seizures persisted throughout. The differing trajectories suggest a different pathogenesis for these outcomes. Children have a more benign overall profile of psychiatric risk than do adults and older adults, but their sustained higher risk of some diagnoses is of concern. The fact that neurological and psychiatric outcomes were similar during the delta and omicron waves indicates that the burden on the health-care system might continue even with variants that are less severe in other respects. Our findings are relevant to understanding individual-level and population-level risks of neurological and psychiatric disorders after SARS-CoV-2 infection and can help inform our responses to them.National Institute for Health and Care Research Oxford Health Biomedical Research Centre, The Wolfson Foundation, and MQ Mental Health Research.

Abstract Understanding the spatial organization of tissues is of critical importance for both basic and translational research. While recent advances in tissue imaging are opening an exciting new window into the biology of human tissues, interpreting the data that they create is a significant computational challenge. Cell segmentation, the task of uniquely identifying each cell in an image, remains a substantial barrier for tissue imaging, as existing approaches are inaccurate or require a substantial amount of manual curation to yield useful results. Here, we addressed the problem of cell segmentation in tissue imaging data through large-scale data annotation and deep learning. We constructed TissueNet, an image dataset containing >1 million paired whole-cell and nuclear annotations for tissue images from nine organs and six imaging platforms. We created Mesmer, a deep learning-enabled segmentation algorithm trained on TissueNet that performs nuclear and whole-cell segmentation in tissue imaging data. We demonstrated that Mesmer has better speed and accuracy than previous methods, generalizes to the full diversity of tissue types and imaging platforms in TissueNet, and achieves human-level performance for whole-cell segmentation. Mesmer enabled the automated extraction of key cellular features, such as subcellular localization of protein signal, which was challenging with previous approaches. We further showed that Mesmer could be adapted to harness cell lineage information present in highly multiplexed datasets. We used this enhanced version to quantify cell morphology changes during human gestation. All underlying code and models are released with permissive licenses as a community resource.

Abstract Objective To optimize anastomotic technique and gastric conduit perfusion with hyperspectral imaging (HSI) for total minimally invasive esophagectomy (MIE) with linear stapled anastomosis. Summary Background Data Esophagectomy is the mainstay of esophageal cancer treatment but anastomotic insufficiency related morbidity and mortality remain challenging for patient outcome. Methods A live porcine model (n=50) for MIE was used with gastric conduit formation and linear stapled side-to-side esophagogastrostomy. Four main experimental groups differed in stapling length (3 vs. 6 cm) and anastomotic position on the conduit (cranial vs. caudal). Tissue oxygenation around the anastomotic site was evaluated using HSI and was validated with histopathology. Results The tissue oxygenation (ΔStO 2 ) after the anastomosis remained constant only for the short stapler in caudal position (−0.4± 4.4%, n.s.) while it dropped markedly in the other groups (short-cranial: -15.6± 11.5%, p=0.0002; long-cranial: -20.4± 7.6%, p=0.0126; long-caudal: -16.1± 9.4%, p<0.0001) Tissue samples from deoxygenated stomach as measured by HSI showed correspondent eosinophilic pre-necrotic changes in 35.7± 9.7% of the surface area. Conclusions Tissue oxygenation at the anastomotic site of the gastric conduit during MIE is influenced by stapling technique. Optimal oxygenation was achieved with a short stapler (3 cm) and sufficient distance of the anastomosis to the cranial end of the gastric conduit. HSI tissue deoxygenation corresponded to histopathologic necrotic tissue changes. These findings allow for optimization of gastric conduit perfusion and anastomotic technique in MIE. Level of Evidence Not applicable. Translational animal science. Original article.

Abstract Visual discrimination of tissue during surgery can be challenging since different tissues appear similar to the human eye. Hyperspectral imaging (HSI) removes this limitation by associating each pixel with high-dimensional spectral information. While previous work has shown its general potential to discriminate tissue, clinical translation has been limited due to the method’s current lack of robustness and generalizability. Specifically, it had been unknown whether variability in spectral reflectance is primarily explained by tissue type rather than the recorded individual or specific acquisition conditions. The contribution of this work is threefold: (1) Based on an annotated medical HSI data set (9,059 images from 46 pigs), we present a tissue atlas featuring spectral fingerprints of 20 different porcine organs and tissue types. (2) Using the principle of mixed model analysis, we show that the greatest source of variability related to HSI images is the organ under observation. (3) We show that HSI-based fully-automatic tissue differentiation of 20 organ classes with deep neural networks is possible with high accuracy (> 95 %). We conclude from our study that automatic tissue discrimination based on HSI data is feasible and could thus aid in intraoperative decision making and pave the way for context-aware computer-assisted surgery systems and autonomous robotics.