SP
Seong-Bae Park
Author with expertise in Privacy-Preserving Techniques for Data Analysis and Machine Learning
Achievements
Open Access Advocate
Key Stats
Upvotes received:
0
Publications:
5
(60% Open Access)
Cited by:
0
h-index:
18
/
i10-index:
42
Reputation
Biology
< 1%
Chemistry
< 1%
Economics
< 1%
Show more
How is this calculated?
Publications
1

MetaFed: Population-Based Meta Federated Learning Framework for Edge Intelligence

Kyi Thar et al.Nov 22, 2022
<p>The immediate adoption of deep learning models into domain-specific tasks for edge intelligence-based services still poses several challenges to overcome. The first is efficiently constructing the most suitable neural network architecture amongst the numerous types of available architectures. Once addressing this challenge, the second is understanding how to gather knowledge to build efficient neural network models from the user's devices (i.e., smartphone) without affecting the user's privacy. And the third critical issue is minimizing the gap between estimated and actual performance while building models. In this work, we propose a novel framework for deploying deep learning models for domain-specific tasks called MetaFed, which combines population-based meta-learning and federated learning to resolve the three challenges mentioned earlier. MetaFed autonomously constructs the potential domain-specific models with the help of population-based meta-learning by utilizing the model knowledge base. We improve the model knowledge base by using the population's knowledge via federated learning while minimizing the performance estimation gap for model construction. Experimental results show that our proposed framework offers a promising solution for deploying deep learning models at edge devices, with a significant performance gain than the existing alternative approaches.</p>
1

MetaFed: Population-Based Meta Federated Learning Framework for Edge Intelligence

Kyi Thar et al.Oct 27, 2022
<p>The immediate adoption of deep learning models into domain-specific tasks for edge intelligence-based services still poses several challenges to overcome. The first is efficiently constructing the most suitable neural network architecture amongst the numerous types of available architectures. Once addressing this challenge, the second is understanding how to gather knowledge to build efficient neural network models from the user's devices (i.e., smartphone) without affecting the user's privacy. And the third critical issue is minimizing the gap between estimated and actual performance while building models. In this work, we propose a novel framework for deploying deep learning models for domain-specific tasks called MetaFed, which combines population-based meta-learning and federated learning to resolve the three challenges mentioned earlier. MetaFed autonomously constructs the potential domain-specific models with the help of population-based meta-learning by utilizing the model knowledge base. We improve the model knowledge base by using the population's knowledge via federated learning while minimizing the performance estimation gap for model construction. Experimental results show that our proposed framework offers a promising solution for deploying deep learning models at edge devices, with a significant performance gain than the existing alternative approaches.</p>
1

MetaFed: Population-Based Meta Federated Learning Framework for Edge Intelligence

Kyi Thar et al.Nov 22, 2022
<p>The immediate adoption of deep learning models into domain-specific tasks for edge intelligence-based services still poses several challenges to overcome. The first is efficiently constructing the most suitable neural network architecture amongst the numerous types of available architectures. Once addressing this challenge, the second is understanding how to gather knowledge to build efficient neural network models from the user's devices (i.e., smartphone) without affecting the user's privacy. And the third critical issue is minimizing the gap between estimated and actual performance while building models. In this work, we propose a novel framework for deploying deep learning models for domain-specific tasks called MetaFed, which combines population-based meta-learning and federated learning to resolve the three challenges mentioned earlier. MetaFed autonomously constructs the potential domain-specific models with the help of population-based meta-learning by utilizing the model knowledge base. We improve the model knowledge base by using the population's knowledge via federated learning while minimizing the performance estimation gap for model construction. Experimental results show that our proposed framework offers a promising solution for deploying deep learning models at edge devices, with a significant performance gain than the existing alternative approaches.</p>
0

Adaptive Knowledge Transfer for Continual Learning of Task-Oriented Dialogue Systems

un-Beom Lee et al.Nov 30, 2024
과제 지향 대화 시스템은 특수한 목적을 가진 사용자의 질문에 대해 적절한 답변을 제공하는 시스템이다. 시스템의 특성상 사용자의 요구에 따라 새로운 도메인에 대한 시스템 확장이 빈번하게 이루어진다. 배포된 시스템의 도메인을 확장하기 위해서는 신규 도메인을 위한 데이터베이스 및 학습용 대화 데이터에 대해 추가로 학습해야 한다. 본 논문에서는 과제 지향 대화 시스템의 도메인 확장을 위한 새로운 연속 학습 방법을 제안한다. 제안하는 방법은 어댑터 게이팅 메커니즘을 활용하여 시스템이 새로운 도메인을 학습할 때 과거에 학습한 지식을 효과적으로 활용할 수 있도록 한다. 이를 위해, 주어진 질문에 대한 답변을 생성하기 위해 적절한 지식을 선택하도록 유도하는 게이팅 레이어가 트랜스포머 레이어에 삽입된 새로운 구조를 제안한다. 이를 통해 과제 지향 대화 시스템의 연속 학습 과정에서 발생하는 부정적 지식 전이를 완화하고, 긍정적 지식 전이를 강화하여 태스크 지향 대화 시스템이 효과적으로 연속 학습을 수행할 수 있다. 57개 도메인으로 구성된 태스크 지향 대화 데이터셋에 대해 실험 및 검증을 통해 제안하는 방법의 뛰어난 성능을 확인하였다.