Massive simulations and arrays of sensing devices, in combination with increasing computing resources, have generated large, complex, high-dimensional datasets used to study phenomena across numerous fields of study. Visualization plays an important role in exploring such datasets. We provide a comprehensive survey of advances in high-dimensional data visualization that focuses on the past decade. We aim at providing guidance for data practitioners to navigate through a modular view of the recent advances, inspiring the creation of new visualizations along the enriched visualization pipeline, and identifying future opportunities for visualization research.

Abstract With recent advances in multi‐modal foundation models, the previously text‐only large language models (LLM) have evolved to incorporate visual input, opening up unprecedented opportunities for various applications in visualization. Compared to existing work on LLM‐based visualization works that generate and control visualization with textual input and output only, the proposed approach explores the utilization of the visual processing ability of multi‐modal LLMs to develop Autonomous Visualization Agents (AVAs) that can evaluate the generated visualization and iterate on the result to accomplish user‐defined objectives defined through natural language. We propose the first framework for the design of AVAs and present several usage scenarios intended to demonstrate the general applicability of the proposed paradigm. Our preliminary exploration and proof‐of‐concept agents suggest that this approach can be widely applicable whenever the choices of appropriate visualization parameters require the interpretation of previous visual output. Our study indicates that AVAs represent a general paradigm for designing intelligent visualization systems that can achieve high‐level visualization goals, which pave the way for developing expert‐level visualization agents in the future.

Abstract Legionella is a genus of ubiquitous environmental pathogens found in freshwater systems, moist soil, and composted materials. More than four decades of Legionella research has provided important insights into Legionella pathogenesis [1]. Although standard commercial microscopes have led to significant advances in understanding Legionella pathogenesis [2,3], great potential exists in the deployment of more advanced imaging techniques to provide additional insights. The Lattice Light Sheet Microscope (LLSM) is a recently developed microscope for 4D live cell imaging with high resolution and minimum photo-damage [4]. We built a LLSM with an improved version for the optical layout with two path-stretching mirror sets and a novel Reconfigurable Galvanometer Scanner ( RGS ) module to improve the reproducibility and reliability of the alignment and maintenance of the LLSM. We commissioned this LLSM to study Legionella pneumophila infection with a tailored workflow designed over instrumentation, experiments, and data processing methods. Our results indicate that Legionella pneumophila infection is correlated with a series of morphological signatures such as smoothness, migration pattern and polarity both statistically and dynamically. Our work demonstrates the benefits of using LLSM for studying long-term questions in bacterial infection. Our free-for-use modifications and workflow designs on the use of LLSM system contributes to the adoption and promotion of the state-of-the-art LLSM technology for both academic and commercial applications.

Abstract Probabilistic MRI diffusion tractography is a sophisticated technique to investigate structural connectomes, but its steep computational cost prevents application to broader research and clinical settings. Major speedup can be achieved by reducing the number of tractography streamlines. To ensure this does not degrade connectome quality, we calculate the identifiability of connectomes between test and retest MRI as a proxy for information content. We find that reducing streamline count by up to two orders of magnitude from prevailing levels in literature has no significant impact on identifiability. Incidentally, we also observe that Jaccard similarity is more effective than Pearson correlation in achieving identifiability. This document was prepared as an account of work sponsored by an agency of the United States government. Neither the United States government nor Lawrence Livermore National Security, LLC, nor any of their employees makes any warranty, expressed or implied, or assumes any legal liability or responsibility for the accuracy, completeness, or usefulness of any information, apparatus, product, or process disclosed, or represents that its use would not infringe privately owned rights. Reference herein to any specific commercial product, process, or service by trade name, trademark, manufacturer, or otherwise does not necessarily constitute or imply its endorsement, recommendation, or favoring by the United States government or Lawrence Livermore National Security, LLC. The views and opinions of authors expressed herein do not necessarily state or reflect those of the United States government or Lawrence Livermore National Security, LLC, and shall not be used for advertising or product endorsement purposes .

We present progress in utilizing a machine learning (ML) assisted optimization framework to study the trends in a parameter space defined by spectrally shaped, high-intensity, petawatt-class (8 J, 45 fs) laser pulses interacting with solid targets and give the first simulation-based overview of predicted trends. A neural network (NN) incorporating uncertainty quantification is trained to predict the number of hot electrons generated by the laser–target interaction as a function of pulse shaping parameters. The predictions of this NN serve as the basis function for a Bayesian optimization framework to navigate this space. For post-experimental evaluation, we compare two separate neural network (NN) models. One is based solely on data from experiments, and the other is trained only on ensemble particle-in-cell simulations. Reviewing the predicted and observed trends across the experiment-capable laser parameter search space, we find that both ML models predict a maximal increase in hot electron generation at a level of approximately 12%–18%; however, no statistically significant enhancement was observed in experiments. On direct comparison of the NN models, the average discrepancy is 8.5%, with a maximum of 30%. Since shot-to-shot fluctuations in experiments affect the observations, we evaluate the behavior of our optimization framework by performing virtual experiments that vary the number of repeated observations and the noise levels. Here, we discuss the implications of such a framework for future autonomous exploration platforms in high-repetition-rate experiments.

Large-scale diffusion MRI tractography remains a significant challenge. Users must orchestrate a complex sequence of instructions that requires many software packages with complex dependencies and high computational cost. We developed MaPPeRTrac, a probabilistic tractography pipeline that simplifies and vastly accelerates this process on a wide range of high performance computing (HPC) environments. It fully automates the entire tractography pipeline, from management of raw MRI machine data to edge density imaging (EDI) of the structural connectome. Dependencies are containerized with Docker or Singularity and de-coupled from code to enable rapid prototyping and modification. Data artifacts are strictly organized with the Brain Imaging Data Structure (BIDS) to ensure that they are findable, accessible, interoperable, and reusable following FAIR principles. The pipeline takes full advantage of HPC resources using the Parsl parallel programming framework, resulting in the creation of connectome datasets of unprecedented size. MaPPeRTrac is publicly available and tested on commercial and scientific hardware, so that it may accelerate brain connectome research for a broader user community.

Abstract Single particle tracking (SPT) is an indispensable tool for scientific studies. However, SPT for datasets with a high density of particles is still challenging, especially for the study of particle interactions where the point spread functions (PSFs) are overlapping. In this study, we present spt-PRIS, a new SPT solution where we apply compressive sensing to SPT by integrating the progressive refinement method on sparse recovery (PRIS) into the framework of the state-of-the-art SPT algorithm (uTrack). We systematically characterized and validated spt-PRIS performance using simulations, applied it to the experimental data of membrane-bound KRAS4b proteins in either 2-lipid or 8-lipid membrane supported lipid bilayers (SLB), and compared the results to the conventional method (uTrack). Our results show that spt-PRIS is effective for SPT when the data contains overlapping PSFs and provides unprecedented information about KRAS4b subpopulations. spt-PRIS is helpful for a broad range of scientific studies where precise and fast high-density localization is beneficial. spt-PRIS is also flexible for extensions for multi-species, multi-multi-channel, and multi-dimensional SPT methods with the generalization of PRIS reconstruction schemes.