논문 상세보기

한국정보처리학회> 정보처리학회논문지. 소프트웨어 및 데이터 공학> 템플릿 재사용을 통한 패러미터 효율적 신경망 네트워크

KCI등재

템플릿 재사용을 통한 패러미터 효율적 신경망 네트워크

Parameter-Efficient Neural Networks Using Template Reuse

김대연 ( Daeyeon Kim ) , 강우철 ( Woochul Kang )
  • : 한국정보처리학회
  • : 정보처리학회논문지. 소프트웨어 및 데이터 공학 9권5호
  • : 연속간행물
  • : 2020년 05월
  • : 169-176(8pages)

DOI


목차

1. 서 론
2. 관련 연구
3. 기존의 패러미터 공유 방법 설명 및 새로운 패러미터 공유 방법의 제안
4. 실험 결과 및 분석
5. 결 론
References

키워드 보기


초록 보기

최근 심층 신경망 (Deep Neural Networks, DNNs)는 모바일 및 임베디드 디바이스에 인간과 유사한 수준의 인공지능을 제공해 많은 응용에서 혁명을 가져왔다. 하지만, 이러한 DNN의 높은 추론 정확도는 큰 연산량을 요구하며, 따라서 기존의 사용되던 모델을 압축하거나 리소스가 제한적인 디바이스를 위해 작은 풋프린트를 가진 새로운 DNN 구조를 만드는 방법으로 DNN의 연산 오버헤드를 줄이기 위한 많은 노력들이 있어왔다. 이들 중 최근 작은 메모리 풋프린트를 갖는 모델 설계에서 주목받는 기법중 하나는 레이어 간에 패러미터를 공유하는 것이다. 하지만, 기존의 패러미터 공유 기법들은 ResNet과 같이 패러미터에 중복(redundancy)이 높은 것으로 알려진 깊은 심층 신경망에 적용되어왔다. 본 논문은 ShuffleNetV2와 같이 이미 패러미터 사용에 효율적인 구조를 갖는 소형 신경망에 적용할 수 있는 패러미터 공유 방법을 제안한다. 본 논문에서 제안하는 방법은 작은 크기의 템플릿과 레이어에 고유한 작은 패러미터를 결합하여 가중치를 생성한다. ImageNet과 CIFAR-100 데이터셋에 대한 우리의 실험 결과는 ShuffleNetV2의 패러미터를 15%-35% 감소시키면서도 기존의 패러미터 공유 방법과 pruning 방법에 대비 작은 정확도 감소만이 발생한다. 또한 우리는 제안된 방법이 최근의 임베디드 디바이스상에서 응답속도 및 에너지 소모량 측면에서 효율적임을 보여준다.
Recently, deep neural networks (DNNs) have brought revolutions to many mobile and embedded devices by providing human-level machine intelligence for various applications. However, high inference accuracy of such DNNs comes at high computational costs, and, hence, there have been significant efforts to reduce computational overheads of DNNs either by compressing off-the-shelf models or by designing a new small footprint DNN architecture tailored to resource constrained devices. One notable recent paradigm in designing small footprint DNN models is sharing parameters in several layers. However, in previous approaches, the parameter-sharing techniques have been applied to large deep networks, such as ResNet, that are known to have high redundancy. In this paper, we propose a parameter-sharing method for already parameter-efficient small networks such as ShuffleNetV2. In our approach, small templates are combined with small layer-specific parameters to generate weights. Our experiment results on ImageNet and CIFAR100 datasets show that our approach can reduce the size of parameters by 15%-35% of ShuffleNetV2 while achieving smaller drops in accuracies compared to previous parameter-sharing and pruning approaches. We further show that the proposed approach is efficient in terms of latency and energy consumption on modern embedded devices.

UCI(KEPA)

I410-ECN-0102-2021-500-000851279

간행물정보

  • : 공학분야  > 전자공학
  • : KCI등재
  • :
  • : 월간
  • : 2287-5905
  • :
  • : 학술지
  • : 연속간행물
  • : 2012-2021
  • : 614


저작권 안내

한국학술정보㈜의 모든 학술 자료는 각 학회 및 기관과 저작권 계약을 통해 제공하고 있습니다.

이에 본 자료를 상업적 이용, 무단 배포 등 불법적으로 이용할 시에는 저작권법 및 관계법령에 따른 책임을 질 수 있습니다.

발행기관 최신논문
| | | | 다운로드

1데이터 마이닝 기반 스마트 공장 에너지 소모 예측 모델

저자 : Sathishkumar V E , 이명배 ( Myeongbae Lee ) , 임종현 ( Jonghyun Lim ) , 김유빈 ( Yubin Kim ) , 신창선 ( Changsun Shin ) , 박장우 ( Jangwoo Park ) , 조용윤 ( Yongyun Cho )

발행기관 : 한국정보처리학회 간행물 : 정보처리학회논문지. 소프트웨어 및 데이터 공학 9권 5호 발행 연도 : 2020 페이지 : pp. 153-160 (8 pages)

다운로드

(기관인증 필요)

초록보기

산업용 에너지 소비 예측은 에너지 수요와 공급에 동적이고 계절적인 변화가 있기 때문에 에너지 관리 및 제어 시스템에서 중요한 위치를 차지한다. 본 논문은 철강 산업의 에너지 소비 예측 모델을 제시하고 논의한다. 사용되는 데이터에는 후행 및 선도적인 전류 반응 전력, 후행 및 선도적인 전류 동력 계수, 이산화탄소(TCO2) 배출 및 부하 유형이 포함된다. 테스트 세트에서는 (a) 선형 회귀(LR), (b) 방사형 커널(SVM RBF), (c) Gradient Boosting Machine (GBM), (d) 무작위 포리스트(RF). 평균 제곱 오차(RMSE), 평균 절대 오차(MAE) 및 평균 절대 백분율 오차(ME)의 네 가지 통계 모델을 사용하여 예측하고 평가한다. 회귀 설계의 효율성 모든 예측 변수를 사용할 때 최상의 모델 RF는 테스트 세트에서 RMSE 값 7.33을 제공할 수 있다.

2앙상블 기법을 통한 잉글리시 프리미어리그 경기결과 예측

저자 : 이재현 ( Yi Jae Hyun ) , 이수원 ( Lee Soo Won )

발행기관 : 한국정보처리학회 간행물 : 정보처리학회논문지. 소프트웨어 및 데이터 공학 9권 5호 발행 연도 : 2020 페이지 : pp. 161-168 (8 pages)

다운로드

(기관인증 필요)

초록보기

스포츠 경기 결과예측은 전반적인 경기의 흐름과 승패에 영향을 미치는 변인들의 분석을 통해 팀의 전략 수립을 가능하게 해준다. 이와 같은 스포츠 경기결과 예측에 대한 연구는 주로 통계학적 기법과 기계학습 기법을 활용하여 진행되어 왔다. 승부예측 모델은 무엇보다 예측 성능이 가장 중요시된다. 그러나 최적의 성능을 보이는 예측 모델은 학습에 사용되는 데이터에 따라 다르게 나타나는 경향을 보였다. 본 논문에서는 이러한 문제를 해결하기 위해 데이터가 달라지더라도 해당 데이터에 대한 예측 시 가장 좋은 성능을 보이는 모델의 선택이 가능한 기존의 축구경기결과 예측에서 좋은 성능을 보여온 통계학적 모델과 기계학습 모델을 결합한 새로운 앙상블 모델을 제안한다. 본 논문에서 제안하는 앙상블 모델은 각 단일모델들의 경기 예측결과와 실제 경기결과를 병합한 데이터로부터 최종예측모델을 학습하여 경기 승부예측을 수행한다. 제안 모델에 대한 실험 결과, 기존 단일모델들에 비해 높은 성능을 보였다.

3템플릿 재사용을 통한 패러미터 효율적 신경망 네트워크

저자 : 김대연 ( Daeyeon Kim ) , 강우철 ( Woochul Kang )

발행기관 : 한국정보처리학회 간행물 : 정보처리학회논문지. 소프트웨어 및 데이터 공학 9권 5호 발행 연도 : 2020 페이지 : pp. 169-176 (8 pages)

다운로드

(기관인증 필요)

초록보기

최근 심층 신경망 (Deep Neural Networks, DNNs)는 모바일 및 임베디드 디바이스에 인간과 유사한 수준의 인공지능을 제공해 많은 응용에서 혁명을 가져왔다. 하지만, 이러한 DNN의 높은 추론 정확도는 큰 연산량을 요구하며, 따라서 기존의 사용되던 모델을 압축하거나 리소스가 제한적인 디바이스를 위해 작은 풋프린트를 가진 새로운 DNN 구조를 만드는 방법으로 DNN의 연산 오버헤드를 줄이기 위한 많은 노력들이 있어왔다. 이들 중 최근 작은 메모리 풋프린트를 갖는 모델 설계에서 주목받는 기법중 하나는 레이어 간에 패러미터를 공유하는 것이다. 하지만, 기존의 패러미터 공유 기법들은 ResNet과 같이 패러미터에 중복(redundancy)이 높은 것으로 알려진 깊은 심층 신경망에 적용되어왔다. 본 논문은 ShuffleNetV2와 같이 이미 패러미터 사용에 효율적인 구조를 갖는 소형 신경망에 적용할 수 있는 패러미터 공유 방법을 제안한다. 본 논문에서 제안하는 방법은 작은 크기의 템플릿과 레이어에 고유한 작은 패러미터를 결합하여 가중치를 생성한다. ImageNet과 CIFAR-100 데이터셋에 대한 우리의 실험 결과는 ShuffleNetV2의 패러미터를 15%-35% 감소시키면서도 기존의 패러미터 공유 방법과 pruning 방법에 대비 작은 정확도 감소만이 발생한다. 또한 우리는 제안된 방법이 최근의 임베디드 디바이스상에서 응답속도 및 에너지 소모량 측면에서 효율적임을 보여준다.

1
주제별 간행물
간행물명 수록권호

KCI등재

정보처리학회논문지. 컴퓨터 및 통신시스템
10권 3호 ~ 10권 3호

KCI등재

정보처리학회논문지. 소프트웨어 및 데이터 공학
10권 3호 ~ 10권 3호

KCI등재

한국시스템다이내믹스 연구
22권 1호 ~ 22권 1호

한국정보처리학회 학술대회논문집
23권 2호 ~ 24권 1호

한국정보처리학회 학술대회논문집
20권 1호 ~ 20권 2호

한국정보처리학회 학술대회논문집
25권 2호 ~ 25권 2호

한국정보처리학회 학술대회논문집
25권 1호 ~ 25권 1호

한국정보처리학회 학술대회논문집
24권 2호 ~ 24권 2호

한국정보처리학회 학술대회논문집
22권 1호 ~ 23권 1호

한국정보처리학회 학술대회논문집
21권 1호 ~ 21권 2호

한국정보처리학회 학술대회논문집
18권 2호 ~ 19권 2호

한국정보처리학회 학술대회논문집
17권 1호 ~ 18권 1호

한국정보처리학회 학술대회논문집
15권 2호 ~ 16권 2호

한국정보처리학회 학술대회논문집
11권 1호 ~ 12권 1호

한국정보처리학회 학술대회논문집
12권 2호 ~ 13권 2호

한국정보처리학회 학술대회논문집
14권 1호 ~ 15권 1호

KCI등재

정보처리학회논문지. 컴퓨터 및 통신시스템
10권 2호 ~ 10권 2호

KCI등재

정보처리학회논문지. 소프트웨어 및 데이터 공학
10권 2호 ~ 10권 2호

KCI등재 SCOUPUS

JIPS(Journal of Information Processing Systems)
17권 1호 ~ 17권 1호

한국정보처리학회 학술대회논문집
26권 1호 ~ 26권 2호
발행기관 최신논문
자료제공: 네이버학술정보
발행기관 최신논문
자료제공: 네이버학술정보

내가 찾은 최근 검색어

최근 열람 자료

맞춤 논문

보관함

내 보관함
공유한 보관함

1:1문의

닫기