XAI๋ฅผ ์ด์šฉํ•œ CNN ๊ธฐ๋ฐ˜ ๋ฆฌ๋ˆ…์Šค ์•…์„ฑ์ฝ”๋“œ ํƒ์ง€

2024. 5. 27. 14:07ใ†etc_study/๋…ผ๋ฌธ ๋ถ„์„

 

๐Ÿ“Œ ๋…ผ๋ฌธ

XAI๋ฅผ ์ด์šฉํ•œ CNN ๊ธฐ๋ฐ˜ ๋ฆฌ๋ˆ…์Šค ์•…์„ฑ์ฝ”๋“œ ํƒ์ง€.pdf
0.93MB

 

๐Ÿ“Œ ๋…ผ๋ฌธ ์„ ์ • ์ด์œ  

 

๋…ผ๋ฌธ ๋ถ„์„์„ ํ•˜๋ฉด์„œ ์•…์„ฑ์ฝ”๋“œ์™€ ์ธ๊ณต์ง€๋Šฅ๊ณผ ๊ด€๋ จ๋œ ๋‚ด์šฉ์„ ๋‹ค๋ค„๋ณด๊ณ ์‹ถ์—ˆ๋Š”๋ฐ, ๊ทธ ๋‘๊ฐ€์ง€๋ฅผ ์ถฉ์กฑ์‹œํ‚ค๋Š” ๋…ผ๋ฌธ์„ ์ฐพ๊ฒŒ๋˜์–ด ํ•ด๋‹น ๋…ผ๋ฌธ์„ ๋ถ„์„์„ ํ•˜๊ฒŒ๋˜์—ˆ๋‹ค.

 

๐Ÿ“Œ ์„œ๋ก  (์š”์•ฝ)

์„ค๋ช…๊ฐ€๋Šฅํ•œ ์ธ๊ณต์ง€๋Šฅ(XAI)์ด๋ž€ ๋ฌด์—‡์ธ๊ฐ€ (brunch.co.kr)

 

์„ค๋ช…๊ฐ€๋Šฅํ•œ ์ธ๊ณต์ง€๋Šฅ(XAI)์ด๋ž€ ๋ฌด์—‡์ธ๊ฐ€

๋งํฌ๋“œ์ธ XAI ๊ฐ•์˜ ์š”์•ฝ | ์ด ๊ธ€์€ '20๋…„ 12์›”์— ์ž‘์„ฑ๋œ ๊ธ€์ž…๋‹ˆ๋‹ค. ๊ธฐ์กด์— ์‚ฌ์šฉํ•˜๋˜ ๋ธ”๋กœ๊ทธ์—์„œ ๊ฐ€์ง€๊ณ  ์™”์Šต๋‹ˆ๋‹ค. :) ์˜ค๋Š˜์€ ์ œ ์กธ์—…๋…ผ๋ฌธ์˜ ์ฃผ์ œ์ด๊ธฐ๋„ ํ–ˆ๋˜ "์„ค๋ช…๊ฐ€๋Šฅํ•œ ์ธ๊ณต์ง€๋Šฅ(XAI)"์— ๋Œ€ํ•ด ์•Œ์•„

brunch.co.kr

 

 

 

XAI๋ž€?

์„ค๋ช…๊ฐ€๋Šฅํ•œ ์ธ๊ณต์ง€๋Šฅ์„ ๋œปํ•œ๋‹ค.
  • 4์ฐจ ์‚ฐ์—…ํ˜๋ช…๊ณผ IT๊ธฐ์ˆ  ๋ฐœ์ „๊ณผ ํ•จ๊ป˜ ์•…์„ฑ์ฝ”๋“œ๋ฅผ ์ด์šฉํ•œ ๊ณต๊ฒฉ์ด ์ฆ๊ฐ€ํ•˜๊ณ  ์žˆ์œผ๋ฉฐ, ์ด์— ๋Œ€ํ•œ ์ข…๋ฅ˜ ์—ญ ์‹œ ๋‹ค์–‘ํ•ด์ง€๊ณ  ์žˆ๋‹ค.
  • ์ตœ๊ทผ์—๋Š” ์ปดํ“จํ„ฐ,์Šค๋งˆํŠธํฐ, IoT ๋””๋ฐ”์ด์Šค ๋“ฑ๊ณผ ๊ฐ™์€ ๊ธฐ๊ธฐ์˜ ์ข…๋ฅ˜๋ฟ๋งŒ ์•„๋‹ˆ๋ผ ์œˆ๋„์šฐ ๋ฐ Linux์™€ ๊ฐ™์€ ์šด์˜์ฒด์ œ์—์„œ ๋™์ž‘ ๊ฐ€๋Šฅํ•œ ์•…์„ฑ์ฝ” ๋“œ๊ฐ€ ์ œ์ž‘๋˜๊ณ  ์žˆ๋‹ค.
  • ์ง€๋‚œ 10๋…„ ๋™์•ˆ IoT(Internet of Things) ํ™˜๊ฒฝ์—์„œ ์˜ ์ž„๋ฒ ๋””๋“œ ๋””๋ฐ”์ด์Šค๋ฅผ ํƒ€๊ฒŸ์œผ๋กœ ํ•˜๋Š” ์•…์„ฑ์ฝ”๋“œ๊ฐ€ ์ฆ๊ฐ€ํ•˜๊ณ  ์žˆ์œผ๋ฉฐ,์ด๋ฅผ ํƒ์ง€ํ•˜๊ณ  ๋ฐฉ์–ดํ•˜๊ธฐ ์œ„ํ•œ ๊ธฐ์ˆ  ๋“ค์ด ์—ฐ๊ตฌ๋˜๊ณ  ์žˆ๋‹ค.
  • ํŠนํžˆ IoT ๊ด€๋ จ ์‘์šฉ ํ”Œ๋žซํผ์ด ๋„๋ฆฌ ๋ณด๊ธ‰๋˜๋ฉด์„œ ๊ณต๊ฒฉ์— ๋ชฉํ‘œ๊ฐ€ ๋  ์ˆ˜ ์žˆ๋Š” ๊ณต๊ฒฉ ํ‘œ ๋ฉด(Surface)์ด ๊ด‘๋ฒ”์œ„ํ•˜๊ฒŒ ์ฆ๊ฐ€ํ•˜๊ณ  ์žˆ๋‹ค.
  • ๊ธฐ์กด ์•…์„ฑ ์ฝ”๋“œ ํƒ์ง€ ๋ฐ ๋ฐฉ์–ด์— ๋Œ€ํ•œ ๊ธฐ์ˆ ์€ ๋Œ€๋ถ€๋ถ„ Windows ์šด์˜์ฒด์ œ ํ™˜๊ฒฝ์„ ๊ธฐ๋ฐ˜์œผ๋กœ ํ•˜๊ณ  ์žˆ๋‹ค.
  • ํ˜„์žฌ, IoT ๋ฐ ํด๋ผ์šฐ๋“œ ์ปดํ“จํŒ… ๋ถ„์•ผ์—์„œ๋Š” Linux๊ฐ€ ๋„๋ฆฌ ์‚ฌ์šฉ๋˜ ๊ณ  ์žˆ์œผ๋ฉฐ, Linux ํ™˜๊ฒฝ์„ ๊ธฐ๋ฐ˜์œผ๋กœ ์•…์„ฑ์ฝ”๋“œ ํƒ์ง€์— ๋Œ€ํ•œ ์—ฐ๊ตฌ๋Š” ๋ถ€์กฑํ•œ ์‹ค์ •์ด๋‹ค.
  • ๋”ฐ๋ผ์„œ Linux ์•…์„ฑ์ฝ”๋“œ์˜ ํƒ์ง€ ๋ฐฉ์•ˆ์˜ ๊ฐœ๋ฐœ์ด ํ•„์ˆ˜์ ์ด๋‹ค.
  • ๊ธฐ๊ณ„ํ•™์Šต ๋“ฑ์˜ ๋ฐœ๋‹ฌ๋กœ ๋จธ์‹ ๋Ÿฌ๋‹๊ณผ ๋”ฅ๋Ÿฌ๋‹ ๊ฐ™์€ ์ธ ๊ณต์ง€๋Šฅ์„ ๊ตฌํ˜„ํ•˜๋Š” ๊ธฐ์ˆ ์ด ๊ธ‰๊ฒฉํžˆ ์ฆ๊ฐ€ํ•˜๊ณ  ์žˆ๋‹ค.
  • ์šฐํšŒ ์ „๋žต์—๋„ ๋Œ€์‘์ด ๊ฐ€๋Šฅํ•œ ์•ˆ์ • ์ ์ธ ๋ชจ๋ธ์„ ๋งŒ๋“ค์–ด์•ผ ํ•˜๋Š” ๊ฒƒ์€ AI ๋ณด์•ˆ์˜ ์ค‘์š”ํ•œ ๋ชฉํ‘œ์ด๋‹ค.
  • ๋ณด์•ˆ ๋ถ„ ์•ผ์—์„œ ์‹ ๋ขฐ์„ฑ๊ณผ ์•ˆ์ •์„ฑ์ด ์ค‘์š”ํ•˜์ง€๋งŒ ๋ชจ๋ธ ์˜ˆ์ธก์— ๋Œ€ํ•œ ์‚ฌ์šฉ์ž์˜ ์ดํ•ด๋„๊ฐ€ ๋–จ์–ด์งˆ ๊ฒฝ์šฐ,๊ด‘๋ฒ”์œ„ํ•œ ์ ์šฉ ์ด ์–ด๋ ต๋‹ค.
  • ์ด๋Ÿฌํ•œ ๋ฌธ์ œ์ ์„ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•ด XAI (Explainable Artificial Intelligence) ๊ธฐ์ˆ  ๋„์ž…์ด ํ•„์š”ํ•˜๋‹ค.
  • XAI๋Š” ์ธ๊ณต์ง€๋Šฅ ๋ชจ๋ธ์˜ ์ถœ๋ ฅ ๊ฒฐ๊ณผ์˜ ์‹ ๋ขฐ๋„,์˜ˆ์ธก ์˜ ๊ทผ๊ฑฐ, ์ž˜๋ชป๋œ ๊ฒฐ๊ณผ๊ฐ€ ๋„์ถœ๋˜์—ˆ์„ ๊ฒฝ์šฐ ๊ทธ ์›์ธ, ๊ทธ๋ฆฌ๊ณ  ๊ฐœ์„  ๋ฐฉ์•ˆ ๊ธฐ์ˆ ์„ ๋ชจ๋‘ ํฌํ•จํ•œ๋‹ค.

 

 

 

 

์œ„ ๋‚ด์šฉ์€ DARPA(Defense Advanced Research Projects Agency)๊ฐ€ ์ œ์‹œํ•œ XAI์˜ ๊ฐœ๋…์„ ๋‚˜ํƒ€๋‚ด๊ณ  ์žˆ๋‹ค.

 

DARPA๋Š” XAI์˜ ๋ชฉ์ ์„ ๋ชจ๋ธ์˜ ๋ณต์žก์„ฑ ๊ฐ์†Œ, ๋ชจ๋ธ ์˜ˆ์ธก์˜ ์‹ ๋ขฐ์„ฑ, ์˜์‚ฌ ๊ฒฐ์ •์„ ์œ„ํ•œ ์ธ๊ณต์ง€๋Šฅ ๋ชจ๋ธ์˜ ํ™œ์šฉ ์„ธ ๊ฐ€์ง€๋กœ ์ •์˜

ํ•œ๋‹ค.

๋ฆฌ๋ˆ…์Šค ํ™˜๊ฒฝ์—์„œ์˜ ๋ณด์•ˆ์„ฑ์„ ๋†’์ด๊ธฐ ์œ„ํ•ด,CNN (Convolutional neural network) ๋ชจ๋ธ์„ ํ™œ์šฉํ•˜์—ฌ ๋ฆฌ ๋ˆ…์Šค ๊ธฐ๋ฐ˜์˜ ์•…์„ฑ์ฝ”๋“œ ํƒ์ง€ ์‹œ์Šคํ…œ์„ ์ œ์•ˆํ•˜๊ณ  ์žˆ๋‹ค.

ํ•ด๋‹น ๋…ผ๋ฌธ์€ ์ •์ƒ๊ณผ ์•…์„ฑ์ฝ”๋“œ ํŒŒ์ผ์„ ์ด๋ฏธ์ง€๋กœ ๋ณ€ํ™˜ ํ•œ ํ›„, ์ด ์•…์„ฑ์ฝ”๋“œ ์ด๋ฏธ์ง€๋ฅผ CNN๋ชจ๋ธ๋กœ ํ•™์Šตํ•™์Šต, ๊ทธ๋Ÿฐ ๋‹ค์Œ, LRP(Layer-wise Relevance Propaga tion) ๋ชจ๋ธ์„ ์‚ฌ์šฉํ•˜์—ฌ ์‹œ๊ฐํ™”๋œ ์ด๋ฏธ์ง€์—์„œ ์•…์„ฑ๊ณผ ์ •์ƒ์„ ๋ถ„๋ฅ˜ํ•˜๋Š” ํŠน์ง•์„ ์ถ”์ถœํ•˜๊ณ  ์ด๋ฅผ ๊ตฌ๋ถ„ ์ง“๋Š” ํŠน์ง•์ ์„ ์‹œ๊ฐํ™”ํ•˜๊ณ  ์žˆ๋‹ค.

 

 

[ ์ถ”๊ฐ€ ๊ณต๋ถ€ ์ž๋ฃŒ ]

[๊ฐœ๋…์ •๋ฆฌ] Filter Visualization(ํ•„ํ„ฐ ์‹œ๊ฐํ™”) (velog.io)

 

[๊ฐœ๋…์ •๋ฆฌ] Filter Visualization(ํ•„ํ„ฐ ์‹œ๊ฐํ™”)

CNN ๋ชจ๋ธ์— ์ ์šฉํ•  ์ˆ˜ ์žˆ๋Š” XAI๊ธฐ๋ฒ• ์ค‘ ํ•˜๋‚˜์ธ ์‹œ๊ฐํ™” ๊ธฐ๋ฒ•์— ๋Œ€ํ•ด ์•Œ์•„๋ณด์ž.

velog.io

 

 

๐Ÿ“Œ ๋ณธ๋ก  (์š”์•ฝ)

 

 

โœ… ๋ฐฐ๊ฒฝ (XAI๋ฅผ ์ด์šฉํ•˜๋Š” ์ด์œ ..etc)

 

XAI๋Š” ๋”ฅ๋Ÿฌ๋‹๊ณผ ๋จธ์‹ ๋Ÿฌ๋‹๊ณผ ๊ฐ™์€ ์ธ๊ณต์ง€๋Šฅ ๊ธฐ์ˆ  ์ด ๊ฐ€์ง€๊ณ  ์žˆ๋Š” ๋ธ”๋ž™๋ฐ•์Šค ํŠน์„ฑ์œผ๋กœ ์ธํ•œ ํ•œ๊ณ„๋ฅผ ๊ทน๋ณต ํ•˜๊ณ ์ž ํ•˜๋Š” ๊ธฐ์ˆ ์ ์ธ ์ ‘๊ทผ์ด๋‹ค.

 

๋ฌธ์ œ์  โžก๏ธ ๊ธฐ์ˆ  ๋ฐœ์ „์œผ๋กœ ์ธ๊ณต์ง€๋Šฅ์ด ์Šค์Šค๋กœ ํ•™์Šต์— ํ•„์š” ํ•œ ํŠน์ง•์„ ์ž˜ ์„ ํƒํ•˜์ง€๋งŒ ์ธ๊ณต์ง€๋Šฅ์ด ๊ฒฐ์ •ํ•œ ์ตœ์ข… ๊ฒฐ๊ณผ์™€ ๊ฒฐ๊ณผ ๋„์ถœ ๊ณผ์ •์—์„œ ํ•™์Šต ๋ฐ์ดํ„ฐ๊ฐ€ ํŽธํ–ฅ๋˜์—ˆ ๊ฑฐ๋‚˜ ์•…์˜์ ์ธ ์•Œ๊ณ ๋ฆฌ์ฆ˜์˜ ์กฐ์ž‘์ด ๊ฐœ์ž…๋  ๊ฒฝ์šฐ์— ์ž˜ ๋ชป๋œ ํŒ๋‹จ์„ ๋‚ด๋ฆด ์ˆ˜ ์žˆ๋‹ค๋Š” ์œ„ํ—˜์ด ์กด์žฌํ•จ.

 

๋ฌธ์ œ ํ•ด๊ฒฐ โžก๏ธ ์ธ๊ณต์ง€๋Šฅ ๋ชจ๋ธ์ด ํ•™์Šตํ•œ ํŠน์ง•๊ณผ ํŒ๋‹จ ๊ณผ์ •์„ ๋ช…ํ™•ํ•˜๊ฒŒ ์„ค๋ช…ํ•จ์œผ๋กœ์จ, ์‚ฌ์šฉ์ž๋‚˜ ๊ด€๋ฆฌ์ž๊ฐ€ ๋ชจ๋ธ์˜ ๋™ ์ž‘์„ ํˆฌ  ๋ช…ํ•˜๊ฒŒ ์ดํ•ดํ•  ์ˆ˜ ์žˆ๊ฒŒ๋” ๋„์™€์คŒ.

                โžก๏ธ ๋ชจ๋ธ์˜ ์˜ˆ์ธก์ด ์–ด๋–ค ๊ธฐ์ค€์œผ๋กœ ์ด๋ฃจ์–ด์กŒ๋Š”์ง€์— ๋Œ€ํ•œ ์ •๋ณด๋ฅผ ์ œ๊ณตํ•˜์—ฌ ์‚ฌ์šฉ์ž์—๊ฒŒ ๋†’์€ ์‹ ๋ขฐ๋„์˜ ๊ฒฐ๊ณผ๋ฅผ ์ œ๊ณตํ•  ์ˆ˜ ์žˆ๋„๋ก ํ•จ.

 

๐Ÿ”ปXAI๋Š” ๋ชจ๋ธ์ด ํ•™ ์Šตํ•œ ๋ฐ์ดํ„ฐ์˜ ํŽธํ–ฅ์„ ์‹๋ณ„ํ•˜๊ณ  ์ด๋ฅผ ๊ฐœ์„ ํ•  ์ˆ˜ ์žˆ๋Š” ๋ฐฉ์•ˆ์„ ์ œ์‹œํ•˜๋Š” ๋ฐ์—๋„ ๊ธฐ์—ฌ

๐Ÿ”ป XAI๋Š” ์ธ๊ณต์ง€๋Šฅ์˜ ์œค๋ฆฌ ์ ์ธ ์ธก๋ฉด์—์„œ๋„ ์ค‘์š”ํ•œ ์—ญํ• ์„ ์ˆ˜ํ–‰ํ•  ๊ฒƒ์œผ๋กœ ๊ธฐ๋Œ€ ๋˜๋ฉฐ, ๋˜ํ•œ ๋ชจ๋ธ์˜ ํŽธํ–ฅ์„ ๊ฐœ์„ ํ•  ์ˆ˜ ์žˆ๊ฒŒ ๋„์™€์ค„ ์ˆ˜ ์žˆ์Œ.

 

 

๐Ÿ“ŒLRP(Layer-wise Relevance Propagation)

LRP์€ ์‹ ๊ฒฝ๋ง ๋ชจ๋ธ์—์„œ ๊ฒฐ๊ณผ๋ฅผ ์—ญ์ถ”์ ํ•˜์—ฌ Input ๋ฐ์ดํ„ฐ์˜ ๊ฐœ๋ณ„์ ์ธ ํŠน์ง•์— ๋Œ€ํ•œ ๊ธฐ์—ฌ๋„๋ฅผ ๊ณ„์‚ฐํ•˜๋Š” ๋ฐฉ๋ฒ•

ํƒ€๋‹น์„ฑ ์ „ํŒŒ(Relevance Propagation)์™€ ๋ถ„ํ•ด(Decomposition) ๋ฐฉ๋ฒ•์„ ์‚ฌ์šฉํ•ด ๋ชจ๋ธ์˜ ์ž‘๋™์„ ๋ถ„์„

 

๐Ÿ“Œ CNN(Convolutional neural network)

CNN์€ ์‹œ๊ฐ ์ธ์ง€ ๋Šฅ๋ ฅ์„ ๋ชจ๋ฐฉํ•˜๋Š” ๋ฐฉ์‹์œผ๋กœ ์ด ๋ฏธ์ง€ ์ฒ˜๋ฆฌ ์„ฑ๋Šฅ์ด ๋†’์€ ์ธ๊ณต์ง€๋Šฅ ๊ธฐ์ˆ 

CNN์€ ๋‹ค์ˆ˜์˜ convolution layer, pooling, fully connected layer๋กœ ๊ตฌ์„ฑ

 

 

 

โœ… ์ œ์•ˆ ๋ฐฉ๋ฒ•

 

 

์•…์„ฑ/์ •์ƒ์ฝ”๋“œ ํŒŒ์ผ์˜ ์ด๋ฏธ์ง€ ๋ณ€ํ™˜

  • ์ •์ƒ ๋ฆฌ๋ˆ…์Šค ํŒŒ์ผ๊ณผ ์•…์„ฑ ๋ฆฌ๋ˆ…์Šค ํŒŒ์ผ์„ ํŒŒ์ผ๋ช…, ๊ฐ ํ”ฝ์…€ ๊ฐ’์ด ๊ตฌ๋ถ„๋œ csv ํŒŒ์ผ ํ˜•ํƒœ๋กœ ์ˆ˜
  • ์ด์ง„ ๋ฐ์ดํ„ฐ๋ฅผ Numpy ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋ฅผ ์‚ฌ์šฉํ•ด ๋ฐฐ์—ด๋กœ ๋ณ€ํ™˜ํ•˜๊ณ  ๋ฐฐ์—ด ํฌ๊ธฐ๋ฅผ ์กฐ์ •ํ•˜์—ฌ ์ด๋ฏธ์ง€ ํฌ๊ธฐ๋ฅผ ๊ณ„์‚ฐ ํ•ด ์ด๋ฏธ์ง€ํ™”๋ฅผ ํ•ด์คŒ
  • CNN ๋ชจ๋ธ์€ ๊ณ  ์ • ํฌ๊ธฐ ์ž…๋ ฅ์—๋งŒ ์ œ๋Œ€๋กœ ๋™์ž‘ํ•˜๊ธฐ ๋•Œ๋ฌธ์— ์ด๋ฏธ์ง€์˜ ํฌ๊ธฐ๋ฅผ ๊ณ ์ •๋œ ๊ฐ’์œผ๋กœ ๋ณ€ํ™˜

๊ฐ (a) ์ •์ƒ ์ฝ”๋“œ ํŒŒ์ผ๊ณผ (b), (c) ์•…์„ฑ์ฝ” ๋“œ ํŒŒ์ผ์„ gray-scale๋กœ ์˜์ƒ ์ฒ˜๋ฆฌํ•˜๊ณ  32*32 ํฌ๊ธฐ ์˜ ์ •์‚ฌ๊ฐํ˜•์œผ๋กœ ๊ณ ์ •ํ•˜์—ฌ ์ด๋ฏธ์ง€ ๋ณ€ํ™˜ ๋‹จ๊ณ„๋ฅผ ๋งˆ์นœ ๊ทธ๋ฆผ

 

๋ชจ๋ธ ์„ค๊ณ„

 

 

 

โžก๏ธ ๋ฆฌ๋ˆ…์Šค ์•…์„ฑ์ฝ”๋“œ ํƒ์ง€๋ฅผ ์œ„ํ•œ CNN ๋ชจ๋ธ์˜ ์‹ ๊ฒฝ๋ง ๊ตฌ์„ฑ

 

์ œ์•ˆํ•œ ๋ชจ๋ธ์€ ์ด 4,808,306๊ฐœ์˜ ํ•™์Šต ๊ฐ€๋Šฅํ•œ ํŒŒ๋ผ๋ฏธํ„ฐ๋ฅผ ๊ฐ€์ ธ, ํšจ๊ณผ์  ์ธ ์•…์„ฑ, ์ •์ƒ ํŒŒ์ผ์˜ ๋ถ„๋ฅ˜๊ฐ€ ๊ฐ€๋Šฅ

 

 

 

โœ… XAI ์ ์šฉ

 

LRP๋Š” ๋”ฅ๋Ÿฌ๋‹ ๋ชจ๋ธ์„ ์—ญ๋ฐฉํ–ฅ ์œผ๋กœ ๋ถ„์„ํ•˜๊ธฐ ์œ„ํ•˜์—ฌ ๋ถ„ํ•ด(Decomposition) ๊ธฐ๋ฒ•์„ ํ™œ์šฉํ•˜๋ฉฐ, ๊ธฐ์—ฌ๋„๋ฅผ ์‚ฐ์ •ํ•  ๋•Œ๋Š” ํƒ€๋‹น์„ฑ ์ „ํŒŒ (Relevance Propagation)์„ ์‚ฌ์šฉ

 

  • ๋ถ„ํ•ด ๊ธฐ๋ฒ•์€ ์ž…๋ ฅ๋œ feature ํ•˜๋‚˜๊ฐ€ ๊ฒฐ๊ณผ ํ•ด์„์— ๋ฏธ์น˜๋Š” ์˜ํ–ฅ์„ ๋ถ„์„ํ•˜๋Š” ๋ฐฉ๋ฒ•

 

CNN์— LRP ๋ชจ๋ธ์„ ์ ์šฉ์‹œํ‚จ ๊ฒฐ๊ณผ

 

  • LRP์—์„œ ํŒŒ๋ž€ pixel์˜ ๊ฐ•๋„๋Š” ์ค‘์š”๋„๋ฅผ ๋‚˜ํƒ€๋‚ธ๋‹ค. ๋ฐ์€ ํŒŒ๋ž€์ƒ‰์€ ๋†’์€ ์ค‘์š”๋„๋ฅผ,์–ด๋‘์šด ํŒŒ๋ž€์ƒ‰์€ ์ƒ๋Œ€ ์ ์œผ๋กœ ๋‚ฎ์€ ์ค‘์š”๋„๋ฅผ ๋‚˜ํƒ€๋ƒ„
  • heatmap์„ ํ•ด์„ ํ•ด๋ณด๋ฉด input x๋กœ ๋“ค์–ด์˜จ ์ด๋ฏธ์ง€๊ฐ€ ๊ฐ๊ฐ ์•…์„ฑ, ์ •์ƒ ์ผ ํ™•๋ฅ ์— ์˜ํ–ฅ์„ ์ค€ ๊ฒƒ์€ ๋ฐ์€ ํŒŒ๋ž€์ƒ‰ ๋ถ€๋ถ„์ž„์„ ์•Œ ์ˆ˜ ์žˆ์Œ
  • ๊ธฐ์—ฌ๋„ ๋ถ„ํ•ด๋กœ ๊ฒฐ๊ณผ์˜ ์˜ํ–ฅ์„ ์–ผ๋งˆ๋‚˜ ๋ฏธ์น˜๋Š”๊ฐ€๋ฅผ ์ƒ‰์˜ ์ง๊ด€์ ์ธ ๋ณ€ํ™”๋กœ ์–ด๋–ค pixel์ด ๊ธ์ • ์ ์ธ ์˜ํ–ฅ์„ ๋ฏธ์น˜๋Š”์ง€ ๋ถ€์ •์ ์ธ ์˜ํ–ฅ์„ ๋ฏธ์น˜๋Š”์ง€ ํ™•์ธ

 

LRP ๊ฒฐ๊ณผ์— pixel ๋‹น ์ค‘์š”๋„์˜ ํ‰๊ท ๊ณผ ํ‘œ์ค€ํŽธ์ฐจ๋ฅผ ์‹œ๊ฐํ™”ํ•œ (a) ์ •์ƒํŒŒ์ผ, (b)์™€ (c)๋Š” ์•…์„ฑ ํŒŒ์ผ

 

 

  • ์‹œ๊ฐํ™” ๊ฒฐ๊ณผ ์˜ค๋ฅธ์ชฝ์˜ ์ŠคํŽ™ํŠธ๋Ÿผ ๋ฐ”์˜ ์ƒ‰ ๋ถ„ํฌ์— ๋”ฐ๋ผ ์ค‘์š”ํ•œ pixel์ด ์ง‘์ค‘๋˜์–ด ์žˆ๋Š” ์˜์—ญ, ์ค‘์š”๋„๊ฐ€ ๋ถˆ์•ˆ์ •ํ•œ ์˜์—ญ ์„ ์‹๋ณ„ํ•  ์ˆ˜ ์žˆ์Œ
  • ์ค‘์š”๋„ ๋ถ„ํฌ์˜ ํŠน์„ฑ์„ ํŒŒ์•…ํ•˜๊ฑฐ๋‚˜ ์ค‘์š”ํ•œ ์˜์—ญ์„ ์‹ ๋ณ„ํ•  ๋•Œ ์œ ์šฉ
  • ๊ทธ๋ฆผ ์•„๋ž˜์˜ LRPSummary Statistics ๊ฐ’ ์„ธ ๊ฐ€์ง€๋Š” ๊ฐ๊ฐ ํ‰๊ท  ์ค‘์š”๋„, ์ตœ์†Œ ์ค‘์š” ๋„, ์ตœ๋Œ€ ์ค‘์š”๋„์ด๊ณ  ํ‰๊ท  ์ค‘์š”๋„๊ฐ€ ๋†’์„์ˆ˜๋ก ๋„คํŠธ์›Œ ํฌ๊ฐ€ ํ•ด๋‹น ์ž…๋ ฅ์˜ ํ•ด๋‹น ๋ถ€๋ถ„์„ ์ค‘์š”ํ•˜๊ฒŒ ์—ฌ๊ธฐ๊ณ  ์žˆ์Œ์„ ์•Œ ์ˆ˜ ์žˆ์Œ
  • ์ตœ๋Œ€ ์ค‘์š”๋„๊ฐ€ ๋†’์„์ˆ˜๋ก ํ•ด๋‹น ์ž…๋ ฅ์— ์„œ ๋„คํŠธ์›Œํฌ๊ฐ€ ํŠนํžˆ ์ฃผ๋ชฉํ•˜๋Š” ์˜์—ญ์ด ์žˆ์Œ์„ ์•Œ ์ˆ˜ ์žˆ์œผ๋ฉฐ, ์ตœ์†Œ ์ค‘์š”๋„๊ฐ€ ๋‚˜ํƒ€๋‚ด๋Š” ๋ถ€๋ถ„์€ ๋„คํŠธ์›Œํฌ ํŒ ๋‹จ์—์„œ ์ƒ๋Œ€์ ์œผ๋กœ ์ค‘์š”ํ•˜์ง€ ์•Š๊ฑฐ๋‚˜ ๊ด€๋ จ์„ฑ์ด ์ ์€ ๋ถ€๋ถ„์„ ๋‚˜ํƒ€๋ƒ„

 

 

โœ… ์‹คํ—˜ ๊ฒฐ๊ณผ

 

 

* ์‹คํ—˜ ํ™˜๊ฒฝ

โžก๏ธ ์•…์„ฑ ํŒŒ์ผ๊ณผ ์ •์ƒ ํŒŒ์ผ์˜ ๋น„์œจ์€ 1:1๋กœ ๊ท ๋“ฑํ•˜ ๊ฒŒ ํ•˜์˜€๊ณ  ์‹คํ—˜ ์ค‘ ํ•™์Šต ๋ฐ์ดํ„ฐ(train data)์™€ ๊ฒ€์ฆ ๋ฐ์ดํ„ฐ(test data)๋Š” ์ตœ์ ์˜ ๊ฒฐ๊ณผ๋ฅผ ์–ป์„ ์ˆ˜ ์žˆ์—ˆ๋˜ 8:2 ๋น„์œจ๋กœ ๊ตฌ์„ฑ 

  • Ubuntu 22์™€ Tensorflow์™€ Keras๋กœ ์‹คํ—˜์„ ์ง„ํ–‰
  • ์‹คํ—˜ ๋ฐ์ดํ„ฐ๋Š” Kaggle์˜ Linux normal dataset์œผ๋กœ ์ •์ƒ ๋ฆฌ๋ˆ…์Šค ํŒŒ์ผ์„ ์‚ฌ์šฉ
  • VirusShare์—์„œ 2019_elf_zip ๋ฆฌ๋ˆ…์Šค ์•…์„ฑ์ฝ”๋“œ ํŒŒ์ผ ๊ณผ 20140617_elf_zip ๋ฆฌ๋ˆ…์Šค ์•…์„ฑ์ฝ”๋“œ ํŒŒ์ผ์„ ์‚ฌ์šฉ

 

* ์‹คํ—˜ ๊ฒฐ๊ณผ

TP(True Positive) : ์•…์„ฑ์ฝ”๋“œ๋ฅผ ์•…์„ฑ์œผ๋กœ ์ •ํ™•ํžˆ ๋ถ„๋ฅ˜ํ•œ ๊ฒฝ์šฐ

FN(False Negative) : ์•…์„ฑ์ฝ”๋“œ๋ฅผ ์ •์ƒ ๋ฐ์ดํ„ฐ๋กœ ๋ถ„๋ฅ˜ํ•œ ๊ฒฝ์šฐ

FP(False Positive) : ์ •์ƒ ๋ฐ์ดํ„ฐ๋ฅผ ์•…์„ฑ์ฝ”๋“œ๋กœ ์ž˜๋ชป ๋ถ„๋ฅ˜ํ•œ ๊ฒฝ์šฐ

TN(True Negative) : ์ •์ƒ ๋ฐ์ดํ„ฐ๋ฅผ ์ •์ƒ ๋ฐ์ด ํ„ฐ๋กœ ์ •ํ™•ํžˆ ๋ถ„๋ฅ˜ํ•˜๋Š” ๊ฒฝ์šฐ

 

 

 

 

 

 

๐Ÿ“Œ ๊ฒฐ๋ก 

 

  • ๋ณธ ๋…ผ๋ฌธ์—์„œ๋Š” ์‹ฌ์ธต ์‹ ๊ฒฝ๋ง์„ ์ ์šฉํ•œ ๊ธฐ๋ฒ• ์ค‘ CNN๋ฅผ ์ด์šฉํ•˜์—ฌ ๋ฆฌ๋ˆ…์Šค ์•…์„ฑํŒŒ์ผ๊ณผ ์ •์ƒ ํŒŒ์ผ์„ ์ด ๋ฏธ์ง€๋กœ ๋ถ„๋ฅ˜ํ•œ ํ›„ XAI๋ฅผ ๋„์ž…ํ•œ ๊ธฐ๋ฒ•์„ ์ œ์•ˆํ•œ๋‹ค.
  • ์ž…๋ ฅ ๋ฐ์ดํ„ฐ๋กœ ๋ฆฌ๋ˆ…์Šค ์•…์„ฑ ํŒŒ์ผ๊ณผ ์ •์ƒ ํŒŒ์ผ์„ ๊ฐ๊ฐ ์ด๋ฏธ์ง€๋กœ ๋ณ€ํ™˜ํ•˜์˜€๊ณ  ์ด๋ฅผ CNN์„ ์ด์šฉํ•ด ๋ถ„๋ฅ˜ํ•˜์—ฌ ์ถœ๋ ฅ์—์„œ ์•…์„ฑํŒŒ์ผ์ด๋ฉด 1, ์ •์ƒ ํŒŒ์ผ์ด๋ฉด 0์œผ๋กœ target์„ ์„ค์ •ํ•ด ์˜ฌ๋ฐ”๋ฅธ ๋ถ„๋ฅ˜๋ฅผ ํ•˜์˜€๋Š”์ง€ ํ™•์ธํ•  ์ˆ˜ ์žˆ๋‹ค.
  • AI์˜ Black-box ํŠน์„ฑ์„ ๋ณด์™„ํ•˜๊ธฐ ์œ„ํ•ด XAI ๊ธฐ์ˆ  ์ค‘ LRP ๊ธฐ๋ฒ•์„ ์‚ฌ์šฉํ•˜์˜€๊ณ  ํžˆํŠธ๋งต์„ ์ด์šฉํ•ด ๊ฒฐ๊ณผ๋ฅผ ์‹œ๊ฐํ™”ํ•˜์—ฌ ๊ธฐ์—ฌ๋„๋ฅผ ํ† ๋Œ€๋กœ ๋„์›€์ด ๋œ ๋ถ€๋ถ„์˜ ์ƒ‰ ๋ณ€ ํ™”๋กœ pixel ๋ณ„ ์˜ํ–ฅ๋ ฅ๊ณผ ์ค‘์š”๋„์˜ ์ง๊ด€์  ์ดํ•ด๋ฅผ ๋„์šธ ์ˆ˜ ์žˆ์—ˆ๋‹ค.
  • ํ˜„์žฌ ์ธ๊ณต์ง€๋Šฅ์„ ํ™œ์šฉํ•œ ์•…์„ฑ์ฝ”๋“œ ํƒ์ง€ ์—ฐ๊ตฌ๊ฐ€ ํ™œ๋ฐœํ•˜๊ฒŒ ์ง„ํ–‰๋˜๊ณ  ์žˆ์Œ์—๋„ ๋ถˆ๊ตฌํ•˜๊ณ ,๋ณด์•ˆ ๋ถ„์•ผ์—์„œ XAI ๊ธฐ์ˆ ์˜ ์ ์šฉ ์‚ฌ๋ก€๋Š” ์•„์ง ๊ทธ๋ฆฌ ํ”ํ•˜์ง€ ์•Š์€ ์ƒํƒœ์ด๋‹ค.
  • ๋ณธ ์—ฐ๊ตฌ๋Š” ๋ณด์•ˆ ๋ถ„์•ผ์—์„œ์˜ ์ธ๊ณต์ง€๋Šฅ ๊ธฐ์ˆ  ๋„์ž…์— ์žˆ์–ด XAI์˜ ์ค‘์š”์„ฑ์„ ๊ฐ•์กฐํ•˜๋ฉฐ, ์ด๋ฅผ ํ†ตํ•ด ํ•ด์„ ๊ฐ€๋Šฅ์„ฑ๊ณผ ์‹ ๋ขฐ์„ฑ์„ ๋†’์ผ ์ˆ˜ ์žˆ๋Š” ๋ฐฉํ–ฅ์„ ์ œ์‹œํ•œ๋‹ค.

 

๐Ÿ“Œ ๋А๋‚€์ 

 

AI์˜ ๋ฌธ์ œ์ ์„ ๋ณด์™„ํ•˜๊ธฐ ์œ„ํ•ด XAI๊ธฐ์ˆ ์ด ํ™œ์šฉ๋  ์ˆ˜ ์žˆ์œผ๋ฉฐ, XAI๋ผ๋Š” ๊ธฐ์ˆ ์ด ๋ฌด์—‡์ธ์ง€ ์•Œ ์ˆ˜ ์žˆ์—ˆ๋‹ค.

์ตœ๊ทผ chatGPT์™€ ๊ฐ™์ด ์ธ๊ณต์ง€๋Šฅ ์—ฐ๊ตฌ๊ฐ€ ํ™œ๋ฐœํ•˜๊ฒŒ ์ง„ํ–‰๋˜๊ณ  ์žˆ์œผ๋ฉฐ, ํŠนํžˆ๋‚˜ ์ธ๊ณต์ง€๋Šฅ์„ ํ™œ์šฉํ•œ ์•…์„ฑ์ฝ”๋“œ ํƒ์ง€์—ฐ๊ตฌ๊ฐ€ ํ™œ๋ฐœํ•˜๊ฒŒ ์ง„ํ–‰๋˜๊ณ  ์žˆ๋‹ค.

AI ์ฑ—๋ด‡์„ ์ด์šฉํ•ด ์•…์„ฑ์ฝ”๋“œ๋ฅผ ์ž‘์„ฑํ•  ์ˆ˜์žˆ๋‹ค๋Š” ๊ฒƒ๋„ ๋“ค์€ ๋ฐ”๊ฐ€ ์žˆ๋‹ค.

ํ•˜์ง€๋งŒ, ์•„์ง ๋ณด์•ˆ ๋ถ„์•ผ์—์„œ  XAI ๊ธฐ์ˆ ์˜ ์ ์šฉ ์‚ฌ๋ก€๊ฐ€ ๊ทธ๋ฆฌ ํ”ํ•˜์ง€ ์•Š๋‹ค๋Š” ์ ์ด ๋†€๋ผ์› ๋‹ค. ํ•ด๋‹น ๋…ผ๋ฌธ์€ ๋ณด์•ˆ ๋ถ„์•ผ์— ์ธ๊ณต์ง€๋Šฅ ๊ธฐ์ˆ  ๋„์ž…์— ์žˆ์–ด XAI๊ธฐ์ˆ ์˜ ํ•„์š”์„ฑ๊ณผ ์ค‘์š”์„ฑ์„ ๋ณด์—ฌ์ฃผ๋Š” ๊ฒƒ ๊ฐ™์•˜๊ณ , ๋‚˜๋„ ๋ณด์•ˆ ๋ถ„์•ผ์—์„œ ์ผํ•˜๊ณ  ์‹ถ์€ ํ•œ ์‚ฌ๋žŒ์œผ๋กœ ํ•ด๋‹น ๊ธฐ์ˆ ์— ๋Œ€ํ•œ ๊ฐœ๋…๊ณผ ์“ฐ์ž„์— ๋Œ€ํ•ด ์ตํžˆ๊ณ  ์‹ถ๋‹ค๋Š” ์ƒ๊ฐ์„ ํ–ˆ๊ณ , ๋„๋ž˜ํ•  ๋ฏธ๋ž˜์— ๋ฐœ๋งž์ถฐ ๋‹ค์–‘ํ•œ ๊ธฐ์ˆ ์„ ์Šต๋“ํ•˜๋Š” ๊ฒƒ์— ๋Œ€ํ•œ ํ•„์š”์„ฑ์„ ๋‹ค์‹œํ•œ๋ฒˆ ๋А๋‚„ ์ˆ˜ ์žˆ์—ˆ๋‹ค.