Samsung Software Membership

VennTum

July 23, 2023

Fine-Tuning can Distort Pretrained Features and Underperform Out-of-Distribution (ICLR 2022 Oral)

Fine-Tuning can Distort Pretrained Features and Underperform Out-of-Distribution 최근 들어서 굉장히 많은 딥러닝 영역에서 대규모 pretrained model을 특정한 downstream task에 대해 fine-tuning 하는 방식으로 학습을 진행하는 경우가 많습니다. 이전에는 데이터 셋의 규모가 작고 지금과 같이 transformer 구조를 사용하지 않을 때에는 요즘과 같이 large pretrained model이 크게 유행하지 않았습니다. 이전에는 많은 경우에 ImageNet 정도 사이즈의 데이터 셋에서 학습한 pretraiend model의 parameter를 가져와서 이보다도 더 작은 downstream task로 fine-tuning 하였기에 특정 task들에 대해서는 transfer learning을 적용해도 성능이...

AI deep-learning

VennTum

June 25, 2023

SmoothMix: a Simple Yet Effective Data Augmentation to Train Robust Classifiers (CVPRW 2020)

SmoothMix: a Simple Yet Effective Data Augmentation to Train Robust Classifiers SmoothMix는 제가 앞서 소개했던 RandomMix, SAGE 등에 비하면 꽤나 오래전에 나온 논문입니다. 그렇기 때문에 해당 논문에서 baseline들로 비교하고 있는 기법들도 꽤나 기본적인 것들만을 사용하여 비교하고 있으며 엄청 특출난 성능을 보인다고 보기는 어렵습니다. 그러나 해당 mixup 방법 및 발견한 model의 이미지에서의 visualization attention, 그리고 data augmentation이 어떻게 Robustness에 영향을 줄 수 있는지 에 대한 기초적인 접근 방향의 아이디어를 찾을 수 있습니다. 최근에 computer vision과 data...

AI deep-learning

VennTum

May 21, 2023

WiSE-FT: Robust fine-tuning of zero-shot models (CVPR 2022)

WiSE-FT: Robust fine-tuning of zero-shot models (CVPR 2022) 본 논문은 대규모 pretrained model에 대한 zero-shot model과 fine-tuning model의 장점을 결합하는 방식인 wiSE-FT를 제안합니다. 이에 대한 더 나은 이해를 위해, 먼저 zero-shot model이 무엇인지에 대해 이야기하고, 해당 논문이 어떠한 방법을 제안하여 해당 문제를 해결하였는지 소개하도록 하겠습니다. Zero-shot model zero-shot이란 모델을 특정 데이터 셋 A에 대해 학습시킨 이후, 이에 대한 다른 추가 train이나 fine-tuning 없이 바로 이와 다른 distribution을 가지거나 혹은 없는 라벨을 포함한 데이터 셋 B에...

AI deep-learning

VennTum

April 23, 2023

알고리즘 문제 접근 과정 12

알고리즘 문제 접근 과정 12 이번 포스트에서도 ‘알고리즘 문제 접근 방법’ 시리즈에서 진행했듯이 특정 문제를 해결하기 위해 가장 낮은 단계의 접근에서부터 최종 해법까지 해결해나가는 과정을 작성합니다. 다만 기존과는 조금 달리, 이번에는 JOI 기출문제들 중 높은 난이도의 문제들을 위주로 이야기합니다. JOI 기출문제들은 좋은 문제들이 많음에도, 한글로 번역이 되어있지 않고 한글 풀이가 존재하지 않는 문제들이 있어, 이들 위주로 풀이를 작성하려고 합니다. 이번 문제들의 난이도는 기존 시리즈들과는 달리, 기출문제들 중 높은 번호의 문제들을 다루다보니 조금 어렵게 느껴질 수...

VennTum

Fine-Tuning can Distort Pretrained Features and Underperform Out-of-Distribution (ICLR 2022 Oral)

SmoothMix: a Simple Yet Effective Data Augmentation to Train Robust Classifiers (CVPRW 2020)

WiSE-FT: Robust fine-tuning of zero-shot models (CVPR 2022)

알고리즘 문제 접근 과정 12

Noise or Signal: The Role of Image Backgrounds in Object Recognition (ICLR 2021)

SAGE: Saliency-Guided Mixup with Optimal Rearrangements

Exploring Simulated Annealing for Derivative-free Optimization 2

Exploring Simulated Annealing for Derivative-free Optimization 1

RandomMix: A mixed sample data augmentation method with multiple mixed modes

알고리즘 문제 접근 과정 11

알고리즘 문제 접근 과정 10

Simple Copy-Paste is a Strong Data Augmentation Method for Instance Segmentation

SALIENCYMIX: A SALIENCY GUIDED DATA AUGMENTATION STRATEGY FOR BETTER REGULARIZATION

알고리즘 문제 접근 과정 9

알고리즘 문제 접근 과정 8

알고리즘 문제 접근 과정 7

알고리즘 문제 접근 과정 6

알고리즘 문제 접근 과정 5

알고리즘 문제 접근 과정 4

알고리즘 문제 접근 과정 3

알고리즘 문제 접근 과정 2

알고리즘 문제 접근 과정

Object Detection

Stack 자료구조와 실습

Shortest Path Algorithm - Dijkstra

Disjoint Set & Union-find