DSP MATLAB Project Report

Image Processing With GPU

 2020 년 12 월 18 일

I.    Project 개요

1.1 Project 개발 필요성

요즘 기본적으로 스마트폰을 사용하면서 카메라의 성능 및 스마트폰 자체적인 성능이 발전하여 자체적으로도 아래 사진과 같은 여러가지 필터를 줄 수 있게 되었다.

여러 수식을 이용하여 이미지를 이루고 있는 픽셀 행렬을 다른 값으로 바꾸어 이미지를 변형하는 것. 이것이 이미지 필터링의 정의이다.

이러한 이미지 필터링은 강의 시간에도 연습해 보았지만 주로 cpu를 사용하는것이었고, 이를 gpu를 주체로 사용하여 필터링하고, 다른 방법으로도 사진 파일에 대해 필터링을 하는 프로젝트를 하면 흥미로울 것이라 생각하여 시작하게 되었다.

1.2 Project 개발 배경 및 동향

처음 계획을 세우고 공부를 해보니 Mathworks에 위치한 예제들에서 큰 차이를 느끼지 못하였고 단순히 코드를 몇글자 수정하고 필터링 된 결과물들을 나열하는 것에서는 예제의 복사 붙여넣기가 된다고 판단하였다. 이를 해결하기 위해 자체적으로 색에 대해 필터링이 가능한 필터링 함수를 제작하고, UI를 변경하여 단순하게 정해진 사진의 나열이 아니라 사용자가 직접 원하는 사진 파일을 선택하여 필터링하도록 목표를 잡았다.이번학기 딥러닝 수업을 들으면서 이미지 분류 모델을 직접 만들어보았다. 따라서 이미지 품질향상에도 딥러닝을 적용한다면 기존 필터링보다 좋은 결과를 보여줄 것이라 생각하여 딥러닝 모델을 활용하여 이미지 품질 향상을 해보고자 하였다.gpu와 딥러닝을 사용하여 이미지 필터링을 하는 것으로 세부적인 내부 프로세스를 변경하게 되었다.

1.3 기본적인 동작 및 기능

필터링을 하고자 하는 이미지를 준비하고, 각각 원하는 필터링 방법에 대한 버튼을 눌러 이미지 파일을 입력받는다. 입력받은 이미지 파일을 MATLAB의 예제에 사용된 sharpened나 equalized 필터링 처리하거나 RGB중 원하는 색상만을 표시해주는 필터링을 해주거나 gaussian 필터링 혹은 딥러닝 모듈을 이용한 필터링을 해주도록 만들었다.원본 이미지 파일과의 비교를 위해 원본 파일을 출력하면서 동시에 필터링 된 이미지 파일을 볼 수 있도록 구현하였다.

1.4 Project 개발 방법

참고자료로는 MathWorks 페이지의 필터링 기능을 하는 함수와 휘도 색차 구현 함수, 딥러닝 모델을 검색해 사용하였다.

현재 프로젝트는 gpu를 사용한 필터링인데 gpu를 사용하려면 CUDA api 모델이 필요하므로 amd 프로세서를 사용하는 팀원의 컴퓨터에서 호환되지 않는 문제가 발생하므로 호환성 문제를 개선해야 하며, 기여도에 있어서는 기존 함수를 찾아 직접 구현한 것이 대부분이지만, UI 제작과 HSV를 이용한 컬러 필터링 함수를 독자적으로 제작하였으며 딥러닝 모델을 사용하여 휘도값을 바탕으로 해상도를 높이려하였기 때문에 기여도는 50%라고 생각된다. 직접 딥러닝 모델을 개발하고자 하였으나, 데이터셋을 구하기 힘들고 컴퓨팅 성능이 부족하여 좋은 성능을 내기에 어려웠다. 따라서 미리 학습된 VDSR 신경망을 가져와 사용하였다.

II.   Project 수행 내용

2.1 알고리즘

만들고자 하는 프로젝트의 단순한 알고리즘은 다음과 같다.

기능을 크게 3가지로 나누고 각 버튼을 통해 해당 기능에 적용할 이미지를 선택하도록 한뒤,

이미지를 로드하여 gpuArray를 통해 이미지를 처리(Color 관련 filtering, Gaussian/adjust, 딥러닝)하게 된다.

딥러닝을 이용한 이미지 품질향상은 직접 모델을 개발하기엔 컴퓨팅자원과 시간이 부족하여 기존에 학습된 VDSR모델을 사용하였다. VDSR모델은 Accurate Image Super Resolution Using Very Deep Convolutional의 약자로 저해상도의 이미지와 고해상도의 이미지 사이의 매핑을 학습하여 저해상도의 이미지를 고해상도로 upscale시켜준다.

먼저 RGB의 이미지에서 휘도와 색차로 이미지를 나누고 그 중 휘도 이미지를 사용하여 학습을 한다.

여기서 rgb2ycbcr을 하여 RGB이미지를 휘도, 색차로 구분한 뒤 바로 휘도를 사용하지 않고 좀더 부드럽게 하기위해 쌈삼차보간법을 적용한 휘도를 모델의 입력값으로 사용한다.

쌍삼차보간법이 적용된 휘도이미지는 VDSR 네트워크를 통과한 뒤 쌍삼차보간법이 적용된 휘도이미지와 더해져 Super Resoluion 이미지를 생성한다. 생성된 이미지는 High Resolution 이미지와 Mean Squad Error 손실함수를 사용하여 loss를 비교하고 loss를 줄여나가도록 학습된다.

총 20개의 layer(image input layer +Convolution2D(padding 함), ReLU +regression layer)로 구성이 된다. 그리고 각 Convolution2D layer는 3x3x64 필터를 64개 포함한다.

이미지 향상 딥러닝 모델을 구현하기엔 데이터 셋과 컴퓨팅 자원, 시간이 부족하였으므로 위와 같은 구조로 학습된 batchsize=64, epoch이 100인 “trainedVDSR-Epoch-100-ScaleFactors-234.mat” 모델을 가져와 사용하였다. (위 모델의 경우 학습시간이 Nvidia사의 Titan X로도 6시간이 걸린다.)

원하는 이미지를 불러와 imread로 읽은 후, rgb2ycbcr을 거쳐 bicubic시킨 y 이미지를 가져와 학습하고 ycbcr2rgb를 하여 향상된 이미지를 얻는다.

참고) *휘도 = R, G ,B 픽셀 값의 일차 결합을 통해 각 픽셀의 밝기를 나타냄 *색차 = R, G, B 픽셀 값의 다른 일차 결합을 통해 색차 정보를 나타냄 *삼차보간법 삼차보간법은 3차함수를 이용하여 미지의 값을 추정하는 것이다. 삼차함수를 사용하기 때문에 더 부드러워진다. 미지의 값을 찾기 위해 위와 같은 식을 통하여 미지의 값을 추정한다. 쌍삼차보간법은 삼차보간법을 2차원으로 확장한 것인데, 삼차보간법에선 y-1 ,y0, , y1 , y2  이웃한 4개의 점을 참조하지만 쌍삼차보간법은 이웃한 16개의 점을 참조한다.

2.2 MATLAB 구현

우선적으로 app designer를 사용하여 색상 추출을 위한 컬러 필터 함수를 추가하였다.

이미지를 인수로 받아 HSV로 변환하고 계산(mask create)를 통해 분리한 뒤 다시 RGB로 변환시켜

원하는 색조를 추출하는 필터함수이다.

인자로 받는 범위의 경우 직접 색조를 찾아보면서 정확한 값을 찾아낼 수 있었고, 우리가 판단한 결과 빨간색의 범위는 320~50, 파란색 170~305, 초록색 50~170으로 대부분의 사진에서 색조를 구별하는데 성공하였다.

 이미지의 회색조 영상처리를 한 후 Gaussian 필터링과 medifilter를 사용하여 원본과 adjust, gaussian을 출력하도록 구현하였다.

미리 학습된 100 epoch을 거친 VDSR모델을 사용하여 이미지 해상도를 높였다. 원하는 이미지를 불러와 imread로 읽은 후, rgb2ycbcr을 거쳐 bicubic시킨 y 이미지를 가져와 모델에 넣고 ycbcr2rgb를 하여 향상된 이미지를 얻는다.

2.3 입력 및 출력

입력 / 출력

III.  참여 인원별 역할 및 수행 소감

[정원영] -보고서 작성, GUI 구현, 컬러필터링 함수 구현

 강의시간에 배운 바를 바탕으로 필터링하는데는 문제가 없었지만 정작 하고나니 양도 없고 배워가는 것도 없는것 같아 직접 HSV를 이용한 필터링 함수를 만들어 보았고, 색채같은 부분에 있어어서 많은 애를 먹었다. 하지만 원뿔형 구조에 대한 이해와 많은 시행착오를 겪은 후 약간이나마 이해를 할 수 있었고 사용자가 원하는 색채만을 추출한 이미지 필터링을 구현하는데 성공하였다.

또한 다른 팀원의 버튼을 구성할 수 있다는 제시를 통해 당시까지 구현한 필터링을 버튼 이벤트와 연동할 수 있었으며 결과적으로는 상당히 깔끔한 바탕의 GUI를 갖춘 프로젝트를 만들 수 있었다.

비대면이기에 많은 난항도 겪었지만 이번 프로젝트를 통해 진행에 대한 노하우를 얻었기 때문에 만족스러웠다.

[이창민] -보고서 작성, GUI구현, VDSR모델을 이용한 이미지 품질 향상 코드 수정

매트랩 수업과 딥러닝 수업에서 배운 내용을 결합하여 과제를 해보게 되어 매트랩이 여러 분야와 융합되어 다양하게 사용할 수 있음을 깨달았다. 수업시간에 배운 여러 노이즈제거 방법들도 딥러닝 분야와 합쳐 적용된다면 기존 dsp에서 쉽게 향상될 것이라고 느꼈다. 하지만 직접 모델을 개발할 환경이 되지 않아 epoch과 batchsize등을 늘리는 등 직접 모델을 개발, 수정해보지 못해 아쉬웟다. 완성도를 위해 GUI를 처음 만들어보니 시행착오도 많고 어려움도 많이 겪었지만 이때까지 GUI관련 프로그래밍은 거의 해보질 않아 좋은 경험이었다.

IV.  Project 후기

매트랩을 처음하면서 완성도를 위해 GUI를 구현하는데 있어 시행착오가 많았다. 버튼 이벤트 처리 과정에서 에러가 많이 났으며, 이미지 불러오기 처리 과정에서 CUDA를 지원하지 않는 그래픽카드여서 gpuArray를 사용하는데 에러가 많았다.  CUDA만을 지원하여 다른 intel, AMD 계열의 openCL을 지원하는 함수가 있었다면 범용적으로 사용 할 수 있어 좋았을 것이다.하지만 이번학기 딥러닝 과목을 들으면서 배운 내용을 토대로 다른 과제를 수행해 볼 수 있어서 좋았다. 아쉬운 점은 충분한 데이터 셋을 구할 수 있었다면 기존 모델에서 epoch을 늘리던가 batchsize를 늘려 좀더 좋은 결과 가진 모델을 사용할 수 있었을 것이며, 보고서의 제한 페이지가 존재하여 알고리즘에 대한 설명과 코드에 대한 팀의 이해도를 제대로 서술되지 못한 것 같아 아쉬움이 남는다.

이번 프로젝트를 통해 MATLAB이 강력한 언어임을 느꼈고, 이를 제대로 사용하기 위해서는 실 사용자인 우리가 익숙해져야한다는 점을을 느꼈다. 다른 프로젝트를 수행한다면 이번의 경험을 발판삼아 잘 진행할 수 있을 것으로 예상된다.

V.    Appendix

HTTP

웹은 HTTP를 이용해서 통신하는 클라이언트와 서버로 구성

HTTP 메시지 구조

요청 메시지 : 요청라인 - 헤더 - 공백 - 바디

Request line => 요청방식(method) - 요청페이지 - 프로토콜/버전 으로 구성

ex) GET /dir/page.html HTTP/1.1

(공백으로 정보 구분)

• GET(메소드)
• /dir/page.html (URL)
• HTTP/1.1 (프로토콜:HTTP 버전:1.1)

헤더 : General Headers, Response Headers, Entity Headers

바디 : 응답 메시지(HTML)

응답 메시지 : 상태라인 - 헤더 - 공백 - 바디

Status line => 프로토콜/버전 - 응답상태코드 - 응답상태메시지 로 구성

ex) HTTP/1.1 200 OK

• HTTP버전 1.1
• 200(상태코드)
• OK(응답이유)

헤더 : General Headers, Response Headers, Entity Headers

바디 : 응답 메시지(HTML)

** 요청방식(method)

• GET : 자원요청(기본값), 요청 파라미터를 URL에 붙여서 전송 , 서버로부터 데이터 획득

GET /HTTP/1.1
Host: foo.com

• POST : 자원 요청, 요청 파라미터를 Body에 붙여서 전송, 서버에 데이터 추가

POST / HTTP/1.1
Host: foo.com
Content-Type: application/x-www-form-urlencoded
Content-Length: 13

say=Hi&to=Mom

• HEAD : HTTP Header 정보만 요청

HEAD /index.html

• PUT : URL 자원을 생성하도록 요청 (파일 업로드 가능), 서버에 데이터 갱신

PUT /new.html HTTP/1.1
Host: example.com
Content-type: text/html
Content-length: 16

<p>New File</p>

• DELETE : URL 자원을 삭제하도록 요청 (파일 삭제 가능), 서버에 데이터 삭제

DELETE /file.html HTTP/1.1

• TRACE : 진단 목적, 서버는 응답바디에 요청받은 자료와 동일한 내용 보냄

TRACE /index.html

• OPTION : 응답 가능한 HTTP 메소드 요청

** RESTful API

http에는 여러 매소드가 있다.

하지만 REST는 CRUD(Create, Read, Update, Delete) 4가지 메소드만 사용한다.

create = post, read = get, update = put, delete =delete

HTTP 응답 상태 코드

1xx : 정보 제공

2xx : 요청 성공적

3xx : 요청한 자원이 다른곳에 있음

4xx : 요청에 문제있음

5xx : 서버에 에러있음

세션과 쿠키

HTTP 비연결지향 : 클라이언트-서버 연결 후 하나의 요청과 응답을 처리하고 연결 종료(응답이 끝나면 연결 종료)=> 클라이언트 정보가 서버에서 관리 되지 않음, 연결유지를 위한 리소스를 줄여 더 많은 연결을 가능하게 함, 연결/연결종료에 대한 오버헤드 발생

HTTP 무상태 프로토콜 : 연결을 종료하는 순간 클라이언트-서버 통신 끝, 클라이언트 상태 정보 유지안함(이전 통신 정보 모름)

따라서 쿠키와 세션이 필요

쿠키

- http 통신시 사용자 정보 유지하기 위해 사용

- 서버에서 생성하여 응답 헤더에 붙이고 클라이언트에 전송

- 쿠키는 요청을 전달할 때 이름=값 형식으로 요청 헤더에 포함되어 서버에 전달

• 쿠키 제약사항 : 브라우저당 최대 300개, 호스트마다 20개 가능, 크기 4kb\

예시) 인터넷 쇼핑몰 장바구니, 로그인 페이지 ID/PW 자동저장

세션 쿠키 : 브라우저가 열려 있는 동안 유효한 쿠키, 서버 이용하는 동안 사용자 정보를 유지하기 위해

영속 쿠키 : 디스크에 유효기간 동안 저장되는 쿠키, 재방문시 정보를 기억하기 위해

쿠키 발행시 옵션 속성 지정 가능

• Domain : 브라우저가 쿠키 값을 전송할 서버의 도메인 지정

cookie.setDomain("test.com");

• Path : 브라우저가 쿠키 값을 전송할 URL 지정

cookie.setPath("/경로");

• Expires : 쿠키 유효기간 설정

cookie.setMaxAge(값);

• Secure : SSL 통신 채널 연결시에만 쿠키 전송하게 설정

cookie.setSecure(true);

• HttpOnly : 자바 스크립트에서 쿠키값 읽지 못하게 설정

cookie.setHttpOnly(true);

세션

• 클라이언트와 서버의 논리적인 연결
• 일정 시간동안 같은 클라이언트로부터 송신되는 request를 하나의 상태로 인식하고 상태를 유지함.
• 브라우저로 웹 서버 접속 후 브라우저 종료될때까지 연결이 유지되는 상태
• 서버는 사용자 정보를 유지하기 위해(http를 사용하는 경우) 서버의 메모리에 브라우저별 세션 영역 할당
• 각 영역은 세션 ID로 구분 => 세션 ID = 세션 토큰
• 각 클라이언트마다 고유 ID 가짐, 서버에 저장하므로 쿠키보다 안전
• 서버에 저장하므로 서버 저장공간 필요, 서버가 처리하므로 부하 발생

세션 ID를 클라이언트에 전달하는 방법

1. HTML 히든 필드 이용

• 세션 ID를 HTML의 히든 필드로 클라이언트에 전달
• 히든 필드이므로 웹페이지에서 안보임
• 소스 보기를 통해 세션 ID값 추출 가능

2. URL rewriting을 이용

• 클라이언트 브라우저가 쿠키 사용을 제한한 경우에 사용
• 웹 서버에 서비스되는 페이지의 모든 URL에 세션 ID를 request parameter로 붙여 사용

3. 쿠키 이용

• 클라이언트 브라우저가 쿠키 사용을 허용하는 경우

서버가 세션 ID를 생성 -> 쿠키에 저장 -> 헤더에 세션ID 저장하여 전달 -> 클라이언트 식별

세션을 이용한 클라이언트-서버 응답/요청

• 클라이언트별 유일한 세션 ID 부여 => 클라이언트 식별
• 클라이언트 첫 요청시 세션ID 생성, 전달
• 두번째 요청부턴 세션 ID 사용

정규식

• 특정한 규칙을 가진 문자열 집합을 표현하는데 사용하는 형식 언어

ex)

String str = "abcdefghijk";

System.out.println(str.replaceAll("[abchij]", "굿"));

=> 정규표현식 "[abchij]"는 a,b,c,h,i,j를 개별적으로 의미함

인코딩 스키마

• 문자 인코딩

문자들의 집합을 컴퓨터에서 저장 or 통신에 사용할 목적으로 부호화하는 방법 = 인코딩

웹 애플리케이션에서 사용되는 데이터들 => 네트워크 통해 여러 종류 시스템으로 전달됨

따라서 인코딩 스키마를 적용하여 안전하게 데이터 사용

1. URL 인코딩

URL에 포함된 문자들이 안전하게 웹 서버에 전달 될 수 있도록 특수한 기능을 가진 메타 문자들을 브라우저가 인코딩해 전달 => 브라우저 특성에 따라 특수문자 표현 변형 오류 막기 위해

2. HTML 인코딩

HTML문서에서 특별한 기능을 수행하는 문자들의 의미를 제거하고 일반적인 문자로 표시하기 위해 사용되는 인코딩 방식

3. Base64 인코딩

모든 바이너리 데이터들을 출력 가능한 ASCII 문자들을 이용해 안전하게 나타내도록 하는 방식 => 이메일 첨부 파일을 인코딩해서 SMTP를 통해 안전하게 전송 or HTTP 승인을 사용하는 경우 사용자 인증서를 인코딩할때 사용

4. 멀티바이트 인코딩

EUC-KR, MS949, 유니코드, UTF-8 등의 인코딩 방식

1~4바이트를 사용하여 다양한 문자를 표시

5. MS 스크립트 인코딩

MS에서 제공하는 인코딩 기법으로 IE에서만 사용가능

예시들)

https://ande226.tistory.com/121

대칭키k 평문 DES암호화 -> RSA공개키로 대칭키k 암호화 후 외부파일 저장 -> 대칭키k로 암호화된 평문 복구

<암호화된 대칭키 파일>

카멜케이스

- CamelCase

lower 카멜케이스

- camelCase

스네이크케이스

- snake_case

파스칼케이스

- PascalCase