Winsorization(윈저화)

공대생의 팁 2020. 3. 1. 00:00


 데이터를 활용하는 과정에서 다음과 같은 문제를 겪는 경우가 있습니다.

  • 상위 극한값(95%) 백분위를 효율적인 방법으로 나타내고자 한다. 약 600개의 변수를 가진 데이터셋을 가지고 있으며, 95% 백분위를 가진 600개의 모든 변수의 극한값을 없애고자 한다.
  • 95%와 5%로 "Winsorize"하기 위해 몇 가지 변수가 있다. 95% 백분위보다 큰 값을 가진 모든 관측지가 95% 백분위값을 가져가고, 5% 백분위보다 작은 값을 가진 모든 관측치가 5% 백분위값을 갖기를 원한다.

 프로그래머가 수백개의 변수의 극한값을 수정하고자 하는 것은 상당히 어려운 일입니다. 이러한 문제들 중 어느것도 Winsorization의 일반적인 정의를 충족시키지 못합니다. 데이터의 Winsorization은 과연 어떤 점을 말하는 것일까요?

 지정된 수의 극한값을 더 작은 데이터값으로 대체하는 과정을 윈저화(Winsorization) 또는 데이터 윈저라이징(Winsorizing)이라 합니다.

 윈저화는 극한값에 민감한 표본 평균을 "강화"하는 방법입니다. 원저화된 평균을 얻기 위해 데이터를 정렬하고 (k+1)번째로 가장 작은 값을 k번째로 가장 작은값으로 바꿉니다. 마찬가지로 (k+1)번째로 가장 큰 값을 k번째로 가장 큰 값으로 대체합니다. 이렇게 새로운 데이터셋의 평균을 윈저화된 평균(Winsorized mean)이라고 합니다. 데이터가 대칭 모집단에서 나온 경우 윈저화된 평균은 모집단 평균에 대한 편견이 없는 추청치라 할 수 있습니다.

 위 그림에서 위쪽 그래프가 원본 데이터, 아랫쪽이 윈저화된 데이터를 나타냅니다. 원본 데이터의 경우 x값이 -4에서 4 사이의 범위에 분포하여 있음을 보실 수 있습니다. 이 때 x=4일 때의 값은 연속되어 있지 않고 따로 떨어져 있어 outlier처럼 보일 수도 있습니다. 이러한 원본 데이터를 윈저화(Winsorization)하여 최저값을 -2로, 최대값을 2로 설정하고 극한값을 벗어나는 값들은 모두 극한값에 추가함으로서 윈저화된 데이터셋을 만듭니다.

 다음으로 윈저화의 특징에 대해 살펴보도록 하겠습니다

  • 윈저화는 대칭입니다. 어떤 사람들은 큰 데이터값만 수정하고자 합니다. 그러나 윈저화는 k번째로 가장 작은 값과 k번째로 가장 큰 값으로 이 극한값을 벗어나는 값들을 해단 k번째 값으로 대체하는 대칭 프로세스입니다.

  • 윈저화는 횟수를 기반으로 합니다. 상위 5%, 95%등 정량형에 근거한 값을 수정하고자 하는 경우가 있습니다. 그러나 정량형을 사용한다고 해서 대칭적인 과정이 되는 것은 아닙니다. \(k_1\)을 하위 5%보다 작은 값의 개수로 하고 \(k_2\)를 상위 5%보다 큰 값의 개수라고 합시다. 데이터에 반복되는 값이 보함되어 있는 경우 \(k_1\)은 \(k_2\)와 같지 않을 수 있으며, 이는 잠재적으로 한 쪽이 다른 쪽보다 더 많은 값으로 바뀜을 의미합니다.

 

윈저화의 장점

  • 평균과 표준 편차와 같은 기존의 통계는 극단적인 값에 민감합니다. 윈저화의 목적은 극한값의 영향을 줄임으로서 기존의 통계로도 충분히 해석할 수 있게 해주는 것입니다.

  • 윈저화는 각 변수와 모든 변수를 확인하는 것이 불가능할 때 수천개의 변수들을 자동으로 처리하는데 사용되기도 합니다.

  • 윈저화된 통계을 기존 통계와 비교하면 오염된 데이터를 포함하거나 꼬리가 길어 모델에서 특별한 처리가 필요할 수 있는 변수를 확인할 수 있습니다.


참고자료:https://blogs.sas.com/content/iml/2017/02/08/winsorization-good-bad-and-ugly.html


ROS 환경에서 ASUS Xtion2 설치방법&문제 해결방법

공대생의 팁 2020. 2. 10. 20:55


 기존에 Xtion 카메라를 사용하여 Visual-SLAM을 사용하던 제게 기회가 생겨 Xtion2 카메라를 사용해보게 되었습니다. 바로 USB를 연결하여 사용해보려 하였는데 추가적인 드라이버가 필요한 듯 보입니다.


 먼저 아래의 사이트에 접속하셔서 Xtion 2의 드라이브를 다운로드 받습니다.

https://www.asus.com/kr/3D-Sensor/Xtion-2/HelpDesk_Download/

 사이트에 접속하신 다음 자신의 운영체제에 해당하는 메뉴를 선택하시면 자신의 운영체제에 맞는 드라이버가 나타납니다. 다운로드를 클릭한 다음 압축을 풀어줍니다.

Linux 64비트를 기준으로 다음과 같은 구성의 파일이 들어있습니다. 다음으로 드라이버를 설치해봅니다.

$ sudo ./install.sh

 여기까지 진행하셨다면 거의 대부분의 상황에서는 Xtion2 카메라를 바로 사용하실 수 있습니다. 그러나 컴퓨터의 환경에 따라 드라이버가 인식되지 않는 경우가 발생합니다. 이 경우 다음과 같이 드라이버를 수동으로 설치해줍니다.

$ sudo cp ASUS/Xtion2/lib/libSenDuck.so /usr/lib/openNI2/Drivers/

 컴퓨터를 재부팅하신 다음 Xtion2 카메라를 다시 연결해보면 카메라가 정상적으로 동작하는 것을 확인하실 수 있습니다.


참고자료: http://blog.naver.com/rlackd93/221234397375


보헤미안 랩소디가 한국에서 울려퍼지다 - 현대카드 슈퍼콘서트 25 QUEEN

흔치않은일상 2020. 1. 19. 17:14


 지난 2018년 10월 국내에 첫 개봉된 영화 '보헤미안 랩소디'를 통해 영국 락밴드 Queen의 인기가 폭발하였던 기억이 나네요. 무려 40여년 전에 세상에 나온 노래 ' Bohemian Rhapsody'가 이곳 저곳에서 울려퍼졌습니다. 뿐만 아니라 Queen의 대표곡들이 카페와 버스 안에서 라디오를 통해 전파를 타고 사람들이 이토록 팝송에 열과하는 현상을 유래가 없을 정도였지요.

 그렇게 한 시기의 유행처럼 지나가 잠시 기억에서 잊혀져 갈 때 즈음 반가운 소식을 듣게 되었습니다. Queen의 내한이 확정되어 2020년 1월 18일과 19일 공연을 하게 된 것이지요.

 저도 영화 보헤미안 랩소디 영화를 보고난 후 퀸의 공연을 해외에서 직접 관람해보고 싶었던 꿈을 갖고 있었는데 이렇게 한국을 찾아와 공연을 하게 된 것이 상당히 기뻤습니다. 2년전 여름 일본에서 TUBE의 공연을 보고난 후 오랜만에 보게되는 공연이라 상당히 기대됩니다.

 무려 6개월 전부터 티켓을 예약하고 잊고 있던 와중에 집으로 티켓이 배송오더군요. 이제 이 티켓을 들고 공연이 열리는 고척스카이돔으로 향합니다.

고척스카이돔으로 가기 위해 구일역 2번 출구에서 내립니다.

응원도구를 판매하시는 분들도 Queen의 공연임을 알고 있었던걸까요?

구일역 2번 출구에서 내리면 입장하는 곳 까이 현수막으로 안내가 되어 있습니다.

공연장에 들어가기 전에 소지품을 맡겨야 합니다.

흔치않은 공연날이라 카메라를 들고 왔는데 공연장에 카메라를 들고 들어갈 수 없다는 걸 처음 알았습니다.
아직 공연을 잘 모르는 분들이라면 참고해주시길

걷다보니 저 멀리서 사람들이 길게 줄을 서 있었습니다.

자세히 보니 기념품 판매점 줄로 보입니다.
아침부터 줄을 서 있던 분이 계시다고 하시데군요.

일부 미판매 티켓의 경우 현장에서 예매가 가능합니다만
좌석은 매진되어 스탠딩 좌석만 구매가 가능하다고 하더군요.

우리나라에 이렇게 Queen의 현수막이 걸릴줄이야

입장 30분전. 아직까지는 여우가 있어 보입니다.

지정된 입구 이외의 입구는 출입이 통제되어 있습니다.

스탠딩의 경우 경기장 지하주차장에서 대기하게 됩니다.
겨울에는 상당히 춥다고 하더군요.

평소 돔구장이던 경기장이 오늘은 Queen의 공연장이 되었습니다.

공연장 인근에는 각종 행사들이 진행되고 있었습니다.

프레디와 브라이언을 흉내내는 분들 재치있습니다!

현대카드에서 지금까지 개최되었던 콘서트 리스트가 소개되어 있습니다.

입장이 시작되면 지정석 보유자들은 이 곳을 통해 입장하게 됩니다.

기념품점은 공연이 임박한 지금까지도 인산인해를 이루고 있습니다.

추운날 줄 서 계시느라 다들 고생이 많습니다.

입장이 시작될 때가 되어서인지 스탭들이 분주히 움직이고 있습니다.

공연장에는 생각보다 많은 물건들이 반입을 허용되지 않고 있습니다.
혹시 공연을 가시게 되는 분들은 꼼꼼히 살펴보시길

기둥쪽을 보니 로저, 애덤, 브라이언의 사진이 보이는군요.

공연장에 입장하기 전에 잠시 다리 건너 롯데마트에 들렀다 갑니다.

다리 건너에서 바라본 경기장의 모습
롯데마트에 카메라를 맡기고 다시 경기장으로 돌아갑니다.

지정석 입장이 시작될 대 즈음 스탠딩 관객들이 입장을 합니다.

제 자리는 209번 구역인데요 생각보다 무대가 잘 보였습니다.

스탠딩 관객분들께서 도착하자마자 바로 팬스 근처로 달려갑니다.

스태프들의 안내에 따라 관객들이 질서있게 들어옵니다.
중간에 불미스러운 일로 싸우시는 분들이 계시더군요.

반면 지정석은 자리가 정해져 있기 때문에 굳이 일찍 들어와 있을 필요는 없습니다.

무대의 중앙을 보니 스크린으로 왕관을 표현한 것 처럼 보이더군요.

무대가 정면이 아니면 공연을 관람하는 것이 힘들까봐 걱정했는데
어느 자리에서 보아도 무대가 잘 보입니다.

어느덧 무대 근처 팬스는 사람들이 금방 자리를 차지합니다.

공연이 시작되기 전 팬스 근처에 자리를 잡지 못한 분들은 바닥에 앉아서 기다리고 계십니다.

공연이 임박하자 스탠딩석에 사람들이 상당히 많이 모였습니다.
지정석도 자리가 거의 다 찼습니다.

어느덧 공연이 시작되고 사람들이 다같이 스마트폰을 들고 공연장을 촬영합니다.

폰카로는 공연을 찍는게 상당히 힘들더군요.
자세한 공연 내용은 아래 동영상을 보면 분위기를 알 수 있을 것입니다.



 공연은 최고였습니다. 돔구장의 시설을 적극적으로 활용하여 마치 우주에서 공연을 보는 듯한 기분이었습니다. 다음에 기회가 된다면 다시 한 번 공연을 관람하고 싶네요. 과연 퀸의 다음 공연은 어떤 모습일지 기대해봅니다.