The variational principles called maximum entropy (MaxEnt) and maximum caliber (MaxCal) are reviewed. MaxEnt originated in the statistical physics of Boltzmann and Gibbs, as a theoretical tool for predicting the equilibrium states of thermal systems. Later, entropy maximization was also applied to matters of information, signal transmission, and image reconstruction. Recently, since the work of Shore and Johnson, MaxEnt has been regarded as a principle that is broader than either physics or information alone. MaxEnt is a procedure that ensures that inferences drawn from stochastic data satisfy basic self-consistency requirements. The different historical justifications for the entropy $S=\ensuremath{-}\ensuremath{\sum}_{i}{p}_{i}\mathrm{log} {p}_{i}$ and its corresponding variational principles are reviewed. As an illustration of the broadening purview of maximum entropy principles, maximum caliber, which is path entropy maximization applied to the trajectories of dynamical systems, is also reviewed. Examples are given in which maximum caliber is used to interpret dynamical fluctuations in biology and on the nanoscale, in single-molecule and few-particle systems such as molecular motors, chemical reactions, biological feedback circuits, and diffusion in microfluidics devices.

Abstract Here we adapt the Bayesian nonparametrics (BNP) framework presented in the first companion manuscript to analyze kinetics from single photon, single molecule Förster Resonance Energy Transfer (smFRET) traces generated under continuous illumination. Using our sampler, BNP-FRET, we learn the escape rates and the number of system states given a photon trace. We benchmark our method by analyzing a range of synthetic and experimental data. Particularly, we apply our method to simultaneously learn the number of system states and the corresponding kinetics for intrinsically disordered proteins (IDPs) using two-color FRET under varying chemical conditions. Moreover, using synthetic data, we show that our method can deduce the number of system states even when kinetics occur at timescales of interphoton intervals. Why It Matters In the first companion manuscript of this series, we developed new methods to analyze noisy smFRET data. These methods eliminate the requirement of a priori specifying the dimensionality of the physical model describing a molecular complex’s kinetics. Here, we apply these methods to experimentally obtained datasets with samples illuminated by time-invariant laser intensities. In particular, we study interactions of IDPs.

ABSTRACT The time spent by a single RNA polymerase (RNAP) at specific locations along the DNA, termed “residence time”, reports on the initiation, elongation and termination stages of transcription. At the single molecule level, this information can be obtained from dual ultra-stable optical trapping experiments, revealing a transcriptional elongation of RNAP interspersed with residence times of variable duration. Successfully discriminating between long and short residence times was used by previous approaches to learn about RNAP’s transcription elongation dynamics. Here, we propose an approach based on the Bayesian sticky hidden Markov models that treats all residence times, for an E. Coli RNAP, on an equal footing without a priori discriminating between long and short residence times. In addition, our method has two additional advantages, we provide: full distributions around key point statistics; and directly treat the sequence-dependence of RNAP’s elongation rate. By applying our approach to experimental data, we find: no emergent separation between long and short residence times warranted by the data; force dependent average residence time transcription elongation dynamics; limited effects of GreB on average backtracking durations and counts; and a slight drop in the average residence time as a function of applied force in RNaseA’s presence. STATEMENT OF SIGNIFICANCE Much of what we know about RNA Polymerase, and its associated transcription factors, relies on successfully discriminating between what are believed to be short and long residence times in the data. This is achieved by applying pause-detection algorithms to trace analysis. Here we propose a new method relying on Bayesian sticky hidden Markov models to interpret time traces provided by dual optical trapping experiments associated with transcription elongation of RNAP. Our method does not discriminate between short and long residence times from the offset in the analysis. It allows for DNA site-dependent transition probabilities of RNAP to neighboring sites (thereby accounting for chemical variability in site to site transitions) and does not demand any time trace pre-processing (such as denoising).

Abstract Assessing dynamic processes at single molecule scales is key toward capturing life at the level of its molecular actors. Widefield superresolution methods, such as STORM, PALM, and PAINT, provide nanoscale localization accuracy, even when distances between fluorescently labeled single molecules (“emitters”) fall below light’s diffraction limit. However, as these superresolution methods rely on rare photophysical events to distinguish emitters from both each other and background, they are largely limited to static samples. In contrast, here we leverage spatiotemporal correlations of dynamic widefield imaging data to extend superresolution to simultaneous multiple emitter tracking without relying on photodynamics even as emitter distances from one another fall below the diffraction limit. We simultaneously determine emitter numbers and their tracks (localization and linking) with the same localization accuracy per frame as widefield superresolution does for immobilized emitters under similar imaging conditions (≈50 nm). We demonstrate our results for both in cellulo data and, for benchmarking purposes, on synthetic data. To this end, we avoid the existing tracking paradigm relying on completely or partially separating the tasks of emitter number determination, localization of each emitter, and linking emitter positions across frames. Instead, we develop a fully joint posterior distribution over the quantities of interest, including emitter tracks and their total, otherwise unknown, number within the Bayesian nonparametric paradigm. Our posterior quantifies the full uncertainty over emitter numbers and their associated tracks propagated from origins including shot noise and camera artefacts, pixelation, stochastic background, and out-of-focus motion. Finally, it remains accurate in more crowded regimes where alternative tracking tools cannot be applied.

1 Abstract Gene networks, key toward understanding a cell’s regulatory response, underlie experimental observations of single cell transcriptional dynamics. While information on the gene network is encoded in RNA expression data, existing computational frameworks cannot currently infer gene networks from such data. Rather, gene networks—composed of gene states, their connectivities, and associated parameters—are currently deduced by pre-specifying gene state numbers and connectivity prior to learning associated rate parameters. As such, the correctness of gene networks cannot be independently assessed which can lead to strong biases. By contrast, here we propose a method to learn full distributions over gene states, state connectivities, and associated rate parameters, simultaneously and self-consistently from single molecule level RNA counts. Notably, our method propagates noise originating from fluctuating RNA counts over networks warranted by the data by treating networks themselves as random variables. We achieve this by operating within a Bayesian nonparametric paradigm. We demonstrate our method on the lacZ pathway in Escherichia coli cells, the STL1 pathway in Saccharomyces cerevisiae yeast cells, and verify its robustness on synthetic data.

We propose to capture reaction-diffusion on a molecule-by-molecule basis from the fastest acquirable timescale, namely individual photon arrivals. We illustrate our method on intrinsically disordered human proteins, the linker histone H1.0 as well as its chaperone prothymosin α, as these diffuse through an illuminated confocal spot and interact forming larger ternary complexes on millisecond timescales. Most importantly, single-molecule reaction-diffusion, smRD, reveals single molecule properties without trapping or otherwise confining molecules to surfaces. We achieve smRD within a Bayesian paradigm and term our method Bayes-smRD. Bayes-smRD is further free of the average, bulk, results inherent to the analysis of long photon arrival traces by fluorescence correlation spectroscopy. In learning from thousands of photon arrivals continuous spatial positions and discrete conformational and photophysical state changes, Bayes-smRD estimates kinetic parameters on a molecule-by-molecule basis with two to three orders of magnitude less data than tools such as fluorescence correlation spectroscopy thereby also dramatically reducing sample photodamage.

Abstract Our goal is to learn kinetic rates from single molecule FRET (smFRET) data even if these exceed the data acquisition rate. To achieve this, we develop a variant of our recently proposed hidden Markov jump process (HMJP) with which we learn transition kinetics from parallel measurements in donor and acceptor channels. Our HMJP generalizes the hidden Markov model (HMM) paradigm in two critical ways: (1) it deals with physical smFRET systems as they switch between conformational states in continuous time ; (2) it estimates the transition rates between conformational states directly without having recourse to transition probabilities or assuming slow dynamics (as is necessary of the HMM). Our continuous time treatment learns transition kinetics and photon emission rates for dynamical regimes inaccessible to the HMM which treats system kinetics in discrete time. We validate the robustness of our framework on simulated data and demonstrate its performance on experimental data from FRET labeled Holliday junctions.

Fluorescence time traces are used to report on dynamical properties of biomolecules. The basic unit of information drawn from these traces is the individual photon. Single photons carry instantaneous information from the biomolecule, from which they are emitted, to the detector on timescales as fast as microseconds. Thus from confocal microscope it is theoretically possible to monitor biomolecular dynamics at such timescales. In practice, however, signals are stochastic and in order to deduce dynamical information through traditional means{such as fluorescence correlation spectroscopy (FCS) and related techniques-fluorescence signals are collected and temporally auto-correlated over several minutes. So far, it has been impossible to analyze dynamical properties of biomolecules on timescales approaching data acquisition as this demands that we estimate the instantaneous number of biomolecules emitting photons and their positions within the confocal volume. The mathematical structure of this problem demands that we abandon the normal ("parametric") Bayesian paradigm. Here, we exploit novel mathematical tools, namely Bayesian nonparametrics, that allow us to deduce in a principled fashion the same information normally deduced from FCS but from the direct analysis of significantly smaller datasets starting from individual photon arrivals. We discuss the implications of this method in helping dramatically reduce phototoxic damage on the sample and the ability to monitor out-of-equilibrium processes.### Competing Interest StatementThe authors have declared no competing interest.

Abstract Diffusion coefficients often vary across regions, such as cellular membranes, and quantifying their variation can provide valuable insight into local membrane properties such as composition and stiffness. Toward quantifying diffusion coefficient spatial maps and uncertainties from particle tracks, we use a Bayesian method and place Gaussian Process (GP) Priors on the maps. For the sake of computational efficiency, we leverage inducing point methods on GPs arising from the mathematical structure of the data giving rise to non-conjugate likelihood-prior pairs. We analyze both synthetic data, where ground truth is known, as well as data drawn from live-cell singlemolecule imaging of membrane proteins. The resulting tool provides an unsupervised method to rigorously map diffusion coefficients continuously across membranes without data binning.

Abstract Lifetimes of chemical species are typically estimated, across each illuminated spot of a sample, by either fitting time correlated single photon counting (TCSPC) decay histograms or, more recently, through phasor analysis from time-resolved photon arrivals. While both methods yield lifetimes in a computationally efficient manner, the performance of both methods is limited by the choices made when fitting a TCSPC histogram. In addition, phasor analysis also requires setting the number of chemical species by hand before lifetimes can be determined. Yet the number of species itself is encoded in the photon arrival times collected for each illuminated spot and need not be set by hand a priori . Here we propose a direct photo-by-photon analysis of data drawn from pulsed excitation experiments to infer, simultaneously and self-consistently, the number of species and their associated lifetimes from as little as a few thousand photons for two species. We do so by leveraging new mathematical tools within the Bayesian nonparametric (BNP) paradigm that we have previously exploited in the analysis of single photon arrivals from single spot confocal microscopy. We benchmark our method on simulated as well as experimental data for one, two, three, and four species with data sets from both immobilized and freely diffusing molecules at the level of one illuminated spot. SUMMARY Photon arrivals obtained from fluorescence experiments encode not only the lifetimes of chemical species but also the number of chemical species involved in the experiment. Traditional methods of analysis, such as phasor methods and methods relying on maximum likelihood or (parametric) Bayesian analysis of photon arrivals or photon arrival histograms of TCSPC data, must first ascertain the number of chemical species separately and, once specified, determine their associated lifetimes. Here we develop a method to learn the number of fluorescence species and their associated lifetimes simultaneously. We achieve this by exploiting Bayesian nonparametrics. We benchmark our approach on both simulated and experimental data for one species and mixtures of two to four species.