GG
Gregory Grant
Author with expertise in Atomic Layer Deposition Technology
Achievements
Open Access Advocate
Cited Author
Key Stats
Upvotes received:
0
Publications:
5
(80% Open Access)
Cited by:
235
h-index:
6
/
i10-index:
6
Reputation
Biology
< 1%
Chemistry
< 1%
Economics
< 1%
Show more
How is this calculated?
Publications
0

Alleviating catastrophic forgetting using context-dependent gating and synaptic stabilization

Nicolas Masse et al.Oct 12, 2018
Humans and most animals can learn new tasks without forgetting old ones. However, training artificial neural networks (ANNs) on new tasks typically causes them to forget previously learned tasks. This phenomenon is the result of "catastrophic forgetting," in which training an ANN disrupts connection weights that were important for solving previous tasks, degrading task performance. Several recent studies have proposed methods to stabilize connection weights of ANNs that are deemed most important for solving a task, which helps alleviate catastrophic forgetting. Here, drawing inspiration from algorithms that are believed to be implemented in vivo, we propose a complementary method: adding a context-dependent gating signal, such that only sparse, mostly nonoverlapping patterns of units are active for any one task. This method is easy to implement, requires little computational overhead, and allows ANNs to maintain high performance across large numbers of sequentially presented tasks, particularly when combined with weight stabilization. We show that this method works for both feedforward and recurrent network architectures, trained using either supervised or reinforcement-based learning. This suggests that using multiple, complementary methods, akin to what is believed to occur in the brain, can be a highly effective strategy to support continual learning.
0

Optical and microstructural studies of erbium-doped TiO2 thin films on silicon, SrTiO3, and sapphire

Manish Singh et al.Sep 26, 2024
Rare-earth ion doped oxide thin films integrated on silicon substrates provide a route toward scalable, chip-scale platforms for quantum coherent devices. Erbium-doped TiO2 is an attractive candidate: the Er3+ optical transition is compatible with C-band optical fiber communications, while TiO2 is an insulating dielectric compatible with silicon process technology. Through structural and optical studies of Er-doped TiO2 thin films grown via molecular beam deposition on silicon, SrTiO3, and sapphire substrates, we have explored the impact of polycrystallinity and microstructure on the optical properties of the Er emission. Comparing polycrystalline TiO2(rutile)/Si with single-crystalline TiO2(rutile)/r-sapphire and polycrystalline TiO2(anatase)/Si with single-crystalline TiO2(anatase)/SrTiO3, we observe that the inhomogeneous linewidth (Γinh) of the most prominent peak in the Er spectrum (the Y1–Z1 transition, 1520 and 1533 nm in rutile and anatase TiO2) is significantly narrower in the polycrystalline case. This implies a relative insensitivity to extended structural defects and grain boundaries in such films (as opposed to, e.g., point defects). We show that the growth of an undoped, underlying TiO2 buffer on Si can reduce Γinh by a factor of 4–5. Expectedly, Γinh also reduces with decreasing Er concentrations: we observe a ∼2 order of magnitude reduction from ∼1000 ppm Er to ∼10 ppm Er. Γinh then gets limited to a residual value of ∼5 GHz that is insensitive to further reduction in the Er concentration. Based upon the above results, we argue that the optical properties in these thin films are limited by the presence of high “grown-in” point defect concentrations.