์ž์—ฐ์–ด ์ฒ˜๋ฆฌ/Today I learned : 31

[NLP]๋”ฅ๋Ÿฌ๋‹ ๊ธฐ๋ฐ˜ ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ ๋ชจ๋ธ

๊ธฐ๊ณ„๊ฐ€ ์‚ฌ๋žŒ๋ง์„ ์•Œ์•„๋“ฃ๊ฒŒ ํ•˜๋ ค๋ฉด ๋ชจ๋ธ์ด ์žˆ์–ด์•ผ ํ•จ ์ž…๋ ฅ(์ž์—ฐ์–ด) --------------> ๋ชจ๋ธ(ํ•จ์ˆ˜) -----------> ์ถœ๋ ฅ(ํ™•๋ฅ ๊ฐ’: 0~1์‚ฌ์ด) NLP๋ชจ๋ธ : ์ž์—ฐ์–ด๋ฅผ ์ž…๋ ฅ๋ฐ›์•„ ํ•ด๋‹น ์ž…๋ ฅ์ด ํŠน์ • ๋ฒ”์ฃผ์ผ ํ™•๋ฅ ์„ ๋ฐ˜ํ™˜ํ•˜๋Š” ํ™•๋ฅ  ํ•จ์ˆ˜์ด๋‹ค. ์ถœ๋ ฅ๋œ ํ™•๋ฅ ์„ post processing(ํ›„์ฒ˜๋ฆฌ)ํ•ด์„œ ์ž์—ฐ์–ด๋กœ ๋‹ค์‹œ ๋ฐ”๊ฟˆ ๊ฐ€์žฅ ์ธ๊ธฐ์žˆ๋Š” ๋ชจ๋ธ - ๋”ฅ๋Ÿฌ๋‹(๋งŽ์€ ์€๋‹‰์ธต ์‚ฌ์šฉ) ex) GPT, BERT,,, ๋”ฅ๋Ÿฌ๋‹ ๋ชจ๋ธ์˜ ํ•™์Šต ํ•™์Šต ๋ฐ์ดํ„ฐ์— ๋ ˆ์ด๋ธ”์ด ์žˆ์–ด์•ผ ํ•จ ex) ๊ฐ์„ฑ๋ถ„์„์˜ ๊ฒฝ์šฐ - ๊ธ์ •1 ์ค‘๋ฆฝ0 ๋ถ€์ •0 ๋ชจ๋ธ์ด ์Šค์Šค๋กœ ํŒจํ„ด์„ ์ตํž ์ˆ˜ ์žˆ๋„๋ก train(ํ•™์Šต) train : ์ถœ๋ ฅ์ด ์ •๋‹ต์— ๊ฐ€๊นŒ์›Œ์ง€๋„๋ก ๋ชจ๋ธ์„ ์—…๋ฐ์ดํŠธํ•˜๋Š” ๊ณผ์ • Transfer learning ์ „์ด ํ•™์Šต : ํŠน์ • ํ…Œ์Šคํฌ๋ฅผ ํ•™์Šตํ•œ ๋ชจ๋ธ์„ ๋‹ค๋ฅธ ํ…Œ์Šคํฌ ..