Dongyul Lee

Welcome to Dongyul DNN space

© 2019. All rights reserved.

Portfolio

26 Mar 2019

Face recognition and image processing

http://www.ipnomics.kr/news/articleView.html?idxno=71709 최근 생체 정보를 이용한 자동차 잠금 해제 특허가 공개됐다. 지난 2월 7일(현지시간) 애플의 특허 ‘차량 인증 시스템과 방법’(System and method for vehicle authorization, 공개번호:US20190039570)을 미국 특허상표청(USPTO)이 공개했다. 특허는 운전자의 얼굴을 인식하는 생체 인증 기반 시스템에 대해 다루고 있다. 해당 특허는 지난해 8월 3일 출원됐다.

출처 : 아이피노믹스(http://www.ipnomics.kr)

포트폴리오는 주요 기술을 중심으로 다음과 같이 기술하였습니다. ①딥러닝 네트워크 프로젝트, ②최근 보유 특허, ③최근 수상 내역, ④논문, ⑤기타 임베디드 관련 수행 프로젝트, ⑥ 추가 관련 업무 성과

①딥러닝 네트워크 개발 프로젝트 (1) Depth estimation using stereo camera

  • L-R 이미지간의 disparity를 찾는 문제로 다음의 두가지의 문제에서부터 기인한다. => ① Correspondence problem : 두 이미지간 disparity를 계산하는데 가장 적합
    ② Reconstruction problem : 취득한 disparity는 불연속 값을 가지는데 이로부터 continuous 이미지를 재생성하는 것을 가리킴 -> 결과 산출물 : 2017년도 기준 SOTA 네트워크인 DispNet과 GC-NET 두 네트워크를 사용하여 자율주행 환경에서 disparity 및 depth map 추출하였음 .다만 성능이 solid state lidar 대비 많이 낮아 양산에 적용 제외

(2) Segmentation

  • SOTA semantic segmentation, instance segmentation, panoptic segmentation 기술을 상세 분석하였을뿐 아니라, 주요 네트워크를 tensorflow api로 자율주행 영상에 적용하였음.
  • 이 중 가장 임팩트 있던 Mask R CNN의 경우 최근 tensorflow 2.0으로 스크래치부터 직접 구현하였음

(3) Object detection

  • Faster R CNN과 같은 성능이 우수한 네트워크를 기본으로 두고, NasNet, ResNet, Inception 네트워크 등을 사용하여 베이스넷을 변경하여 다양한 모델을 적용하였음

(4) Road marking detection

  • Road marking의 경우 segmentation과 object detection이 결합된 문제로, 자율주행의 특수한 문제로 현재 공개된 SOTA 기술중에는 자율주행 영상인식 요구사항을 정확하게 만족시키는 기술이 없어 다음과 같이 신규 개발하였다. => 먼저 road marking용 segmentation을 위해서 Mask R CNN 네트워크의 box poposal 방식을 road marking에 최적화 형태로 변경하였고, customized loss function을 새롭게 제안하였다.

(5) GAN을 활용한 교통 표지판 영상 생성 (하기 1) 특허건과 유사 내용)

  • 교통 표지판의 겨우 전국의 표지판의 수가 200종을 넘으며 170종의 경우 충분한 데이터 취득이 어렵다. => 이에 취득이 어려운 표지판의 학습을 위하여 Cycle & Path GAN을 사용하여, 국토부에서 공개판 표준 교통표지판 이미지로부터 교통표지판 데이터 생성하였다.

②최근 보유 특허 : 4건 1) 객체 instance 단위 자동 영상 합성 기술 - 특허번호 : 10-2019-0023545

  • 본 발명은 이미지내에 검출된 사물들의 세그멘테이션 마스크 이미지와 사전에 확보된 표준 이미지 DB를 활용하여, 딥러닝 기반의 image synthesis 기술을 활용하여 정형화된 물체의 다양한 dataset을 확보하는 것을 목적으로한다.
    => 동적 물체의 다양성 확보를 통해 다양한 데이터셋 확보하는 특허

2) Segmentation을 이용한 스테레오 카메라에서 instance 객체별 거리값 예측 방법 - 특허번호 : 10-2018-0128012

  • 본 발명은 스테레오 카메라 환경에서 주요 객체에 마스크 세그멘테이션 이미지와 바운딩 박스 좌표, 그리고 물체의 class 정보를 활용하여, 자차와 주위 instance 물체간의 깊이 값을 정확하게 추출하는 것을 목적으로 한다. 기존의 깊이 값 측정 방법의 경우 영상 이미지에서 특정 부위의 픽셀정보만을 사용였으나, 본 발명은 영상이미지에서 픽셀정보 외에 검출이 가 능한 마스크 세그멘테이션, 바운딩 박스, class 정보를 딥러닝에 활용하여 보다 정확한 깊이 값을 추출한다.

3) 자율 주행을 위한 딥러닝 기반 Automated Annotator - 특허번호 : 10-2019-0027201

  • 본 발명에서는 완전한 자율주행 환경에서 필요한 영상인식 대상 범위를 제안하고, 완전한 Automated Annotator(AA, 자동 labeling 툴) 를 제안한다. 정의한 영상인식 대상 범위를 모두 검출하기 위한 딥러닝 모델 아키텍처 및 기술을 제안하였다.

4) 블록체인에 기반한 SLAM 데이터 저장, 전송 및 제공 방법 - 특허번호 : 10-2018-0014615

  • 본 발명은 복수의 블록체인을 사용하여 SLAM 정보를 안전하게 통신 및 관리하는 기술로 다음의 블록체인들이 사용된다. (1) GPS 정보 블록체인, (2) 차량의 상세 SLAM 정보 블록체인, (3) SLAM 정보 블록체인, (4) SLAM 데이터 스토리지 블록체인

5) QR 코드/특정패턴을 이용한 측위 시스템 - 특허번호 : 출원진행중

  • 본 발명은 기존의 측위시스템에 추가로 도로를 격자화하여 각 위치별 정보를 특정패턴에 넣어서 차량이 빠르게 자차의 위치를 확인할 수 있도 한 것이 특징입니다. 특히 기존의 DR + HD 고정밀맵 활용 GPS + QR 코드 패턴으로 기존 맵매칭 기법에서 시간이 걸렸던 빌딩 근처의 고가 교차로에서 측위 등의 문제를 해결하였다.

③최근 수상 내역

  • 현대자동차그룹 그룹사 학술대회 그룹사 장려상
    • 주제 : 특허 3)과 같은 내용

④논문

  • SCI 4건(주저자 3건 2저자 1건) 총 27건(hmc 그룹사 2건)의 논문을 게재하였습니다. . 내용을 간략하게 하기 위해 다음의 구글 스콜라 링크로 대체합니다. https://scholar.google.co.kr/citations?user=X6e-CywAAAAJ&hl=ko

⑤기타 임베디드 관련 수행 프로젝트 (관련있는 프로젝트만 기술) (1) 차선 인식 알고리즘 xavier 포팅 └ 맡은 업무 : tensorflow로 개발 완료된 네트워크 파라미터를 onnx로 변환후 다시 tensorRT로 변환하여 xavier에 포팅. (사용언어 : python, c++)

(2) u-헬스케어서비스를위한세선망-그리드망 연동 게이트웨이 및 프로토콜 변환 알고리즘개발 └ 맡은 업무 : zigbex라는 소형 임베딩 장비를 이용하여 멀티홉 센서네트워크 시스템 구축과 타 네트워크와의 연동 위한 게이트웨이를 개발 (사용언어 : C, TinyOS, MySQL)

(3) Heroes of Koskenniska and Self: Application of Body and Exercise Monitoring to a Pervasive Educational Game └ 배경 및 목표 : 핀란드 숲 Koskenniska에서 발생하는 모험이야기를 담은 교육용 게임을 개발 (핀란드 요엔수 대학교와 아주대학교 공동 추진 연구 과제) ①맡은 업무 : zigbex를 를 센서 네트워크 및 무선랜 구축과 이종네트워크 연결위한 게이트웨이 개발 ②핀란드 연구실 : 교육용 스마트폰 어플 개발 (사용언어 : JAVA, TinyOS, MySQL) (4) 케이블 망에서 UHD 및 3D방송 전송용 송수신기 개발 └ 주요 연구(맡은 업무) : 개발된 케이블 망 UHD 및 3D방송 전송알고리즘을 송수신하는 FPGA 데모 모듈 개발 (사용 언어 : VHDL, Matlab) ※ HILS(Hardware-In-the-Loop System) 기반 수행 프로젝트

(5) 701 COMINT 블라인드복조알고리즘산학연구 └ 송신기의 정보를 알수 없는 상황에서 PSK/QAM 복조기 프로토타입 구현 .Floating point 모델부터 fixed point 그리고 프로토타입 구현까지 완료하여 고속신호처리 시스템의 전과정을 수행함    .Shadowing, fading, doppler effect를 고려한 무선채널 모델링까지 수행함      (사용 언어 : MATLAB, SIMULINK, OPNET, VHDL)

⑥ 추가 관련 업무 성과

  • Data curation specification : 자율주행에는 차, 사람, 표지판 뿐만이 아니라 도로의 화살표, 유모차, 자전거등등 다양한 정보들을 인식해야합니다. 이를 위해 딥러닝 특성상 수많은 데이터들을 취득해야하는데, 대부분의 취득정보는 의미가 없거나, 일반적인 데이터가 많습니다. 이에 유효한 데이터만을 구분해야하는데 이에 대한 정확한 규정이 필요합니다. 이러한 모비스의 스펙을 규정하였습니다.

  • Data balancing specifciation 및 balancing api └ 배경 설명 : 자율주행용 딥러닝 알고리즘은 비슷한 속성을 갖는 클래스끼리 클러스터링되어 별도의 네트워크로 동작합니다. 예를들어 승용차, 트럭, 자전거, 오토바이와 같은 동적 물체들은 하나의 object detection network로 클래스를 찾아내지만, 공개된 데이터 셋과는 달리 실제 취득된 데이터에서 이 객체들간의 데이터 밀도는 상당한 차이가 존재합니다.

    • 개발된 기술 : 이에 의미없이 많은 데이터를 취득하는 것이 아닌 well-balanced dataset 취득이 필요하며, 이를 위해서 데이터 분포의 정의와 분포에 따른 오버샘플링 api 개발이 필요하였고, 이를 개발하였습니다. 예로, 데이터 분포의 변수로 동적 오브젝트의 경우 이미지내의 위치, 크기, 방향이 있으며, 차선의 경우 차선의 크기 방향, 색, 점선/실선 같은 형태 등등이 있습니다. 각각의 변수를 규정하였고, 분포에 따른 복합 오버샘플링 api를 배포하였습니다.