고속 룰렛 사이트 표준 'MIPI'란?？모바일 테두리 돌출、자동차에도 적용 4K、30fps 비압축 영상 신호 출력 가능、i.MX 8M Family용 Linux 하리 보 메가 룰렛 키트 출시
2021.11.04
- 기사
- 칼럼
하리 보 메가 룰렛를 탑재한 전자 기기가 급속히 증가하고 있습니다。스마트폰 및 태블릿 기기、산업 장비、의료 장비、자동차、보안 장비、교육 장비、드론 등、예를 들어 매거진에 사라지지 않음。그러나 한 입에 '하리 보 메가 룰렛'라고 말해도、전자 기기별로 요구되는 사양 및 성능、비용은 완전히 다릅니다。화질보다 비용을 우선하는 전자 기기가 있는 경우、어쨌든 개발의 용이성을 강조하는 전자 기기도 존재합니다。자세한、고화질 영상의 실시간 표시가 필수인 전자 기기나、매우 높은 화질을 요구하는 전자 기기도 있습니다。
하리 보 메가 룰렛가 탑재된 전자 기기가 급증함에 따라、자인 일렉트로닉스는、USB 인터페이스를 통해 영상 신호를 전송하는 규격 「UVC(USB Video Class)」에 준거한 4K 해상도의 하리 보 메가 룰렛 개발 킷 「THSCU101」을 2021년 6월에 발매했다。소위 'UVC 하리 보 메가 룰렛'입니다。전용 드라이버 소프트웨어를 준비하지 않고 PC에 연결하기만 하면 됩니다、하리 보 메가 룰렛로 촬영한 영상을 디스플레이에 표시할 수 있음。이 때문에、"하리 보 메가 룰렛를 탑재한 전자 기기의 PoC(Proof of Concept)를 간편하게 실현할 수 있다고 합니다、많은 전자기기 메이커로부터 호평을 얻고 있다」((영업부 제품 매니저의 쿠와야마 카츠미)라고 하는。
그러나 앞서 언급했듯이、하리 보 메가 룰렛의 용도가 크게 확산되고、하리 보 메가 룰렛에 대한 요청이 다양해지고 있습니다。따라서、이 UVC 하리 보 메가 룰렛만으로、하리 보 메가 룰렛에 대한 모든 전자 기기의 요구에 부응하는 것은 기본적으로 어렵습니다。어떤 조치가 필요한지。
하리 보 메가 룰렛가 탑재된 전자 기기가 급증함에 따라、자인 일렉트로닉스는、USB 인터페이스를 통해 영상 신호를 전송하는 규격 「UVC(USB Video Class)」에 준거한 4K 해상도의 하리 보 메가 룰렛 개발 킷 「THSCU101」을 2021년 6월에 발매했다。소위 'UVC 하리 보 메가 룰렛'입니다。전용 드라이버 소프트웨어를 준비하지 않고 PC에 연결하기만 하면 됩니다、하리 보 메가 룰렛로 촬영한 영상을 디스플레이에 표시할 수 있음。이 때문에、"하리 보 메가 룰렛를 탑재한 전자 기기의 PoC(Proof of Concept)를 간편하게 실현할 수 있다고 합니다、많은 전자기기 메이커로부터 호평을 얻고 있다」((영업부 제품 매니저의 쿠와야마 카츠미)라고 하는。
그러나 앞서 언급했듯이、하리 보 메가 룰렛의 용도가 크게 확산되고、하리 보 메가 룰렛에 대한 요청이 다양해지고 있습니다。따라서、이 UVC 하리 보 메가 룰렛만으로、하리 보 메가 룰렛에 대한 모든 전자 기기의 요구에 부응하는 것은 기본적으로 어렵습니다。어떤 조치가 필요한지。
MIPI CSI-2로 출력
자인 일렉트로닉스의 다음의 한 손은 무엇인가。이 회사는 2021년 8월에、4K 해상도로 30프레임/초(fps)의 영상 신호를 비압축으로 출력할 수 있는 하리 보 메가 룰렛 개발 키트 「THSCM101」을 발매했다(그림 1)。``UVC 하리 보 메가 룰렛보다、조금 더 현인 유저를 향한 제품'(쿠와야마)이라는 위치설정이다。이 회사는 'Linux 하리 보 메가 룰렛'라고 부릅니다。
UVC 하리 보 메가 룰렛의 경우、'컴퓨터가 있으면 바로 사용할 수 있다'는 큰 이점이 있는 반면、이제 하나만 있었다。그것、PC와 연결되는 USB 인터페이스의 대역폭。UVC 하리 보 메가 룰렛에서 영상 신호의 출력 인터페이스로 채택한 USB 3.2 표준은、데이터 전송 속도가 5Gbit/s、또는 10Gbit/sec로 높지만、실효적인 데이터 전송 속도는 그 1/3 정도밖에 얻을 수 없다。게다가、그 대역폭조차도 보증되지 않음。이 때문에 UVC 하리 보 메가 룰렛에서는、4K、30fps 영상 신호를 비압축으로 전송할 수 없음、JPEG 형식으로 압축하여 보냈습니다。그러나 JPEG 디코딩 처리는、일반 PC의 CPU에서 실시간으로 실행할 수 없음、컷 떨어짐 발생。이 때문에、고화질의 영상을 실시간으로 표시할 것을 강력히 요구하는 용도에서는、UVC 하리 보 메가 룰렛는 채택하기가 어려웠습니다。예:、공장/창고/점포 등의 감시 하리 보 메가 룰렛나、유지 보수용 산업용 AR(증강 현실) 하리 보 메가 룰렛、의료 수술용 하리 보 메가 룰렛、교육용 하리 보 메가 룰렛와 같은 용도。
그래서 리눅스 하리 보 메가 룰렛에서는、영상 신호의 출력 형식이 변경됨。특히、MIPI CSI-2 신호 형식。하리 보 메가 룰렛 키트 보드에、CMOS 이미지 센서 및 이미지 처리 프로세서(ISP)를 탑재하고 있습니다、이 이미지 처리 프로세서에서 압축되지 않은 YUV422 신호를 MIPI CSI-2 신호로 보드 외부로 출력합니다(그림 2)。
MIPI CSI-2 신호는 4레인 구성입니다、레인당 데이터 전송 속도는 1.2Gbit/sec 및 높음。즉、4레인 총 데이터 전송 속도는 4.초당 8G비트에 도달。이것은 4K、30fps의 영상 신호 전송에 요구되는 4.초당 75G비트 이상、비압축 상태로 영상 신호를 전송할 수 있습니다(표 1)。
그림 1 출시한 Linux 하리 보 메가 룰렛
UVC 하리 보 메가 룰렛의 경우、'컴퓨터가 있으면 바로 사용할 수 있다'는 큰 이점이 있는 반면、이제 하나만 있었다。그것、PC와 연결되는 USB 인터페이스의 대역폭。UVC 하리 보 메가 룰렛에서 영상 신호의 출력 인터페이스로 채택한 USB 3.2 표준은、데이터 전송 속도가 5Gbit/s、또는 10Gbit/sec로 높지만、실효적인 데이터 전송 속도는 그 1/3 정도밖에 얻을 수 없다。게다가、그 대역폭조차도 보증되지 않음。이 때문에 UVC 하리 보 메가 룰렛에서는、4K、30fps 영상 신호를 비압축으로 전송할 수 없음、JPEG 형식으로 압축하여 보냈습니다。그러나 JPEG 디코딩 처리는、일반 PC의 CPU에서 실시간으로 실행할 수 없음、컷 떨어짐 발생。이 때문에、고화질의 영상을 실시간으로 표시할 것을 강력히 요구하는 용도에서는、UVC 하리 보 메가 룰렛는 채택하기가 어려웠습니다。예:、공장/창고/점포 등의 감시 하리 보 메가 룰렛나、유지 보수용 산업용 AR(증강 현실) 하리 보 메가 룰렛、의료 수술용 하리 보 메가 룰렛、교육용 하리 보 메가 룰렛와 같은 용도。
그래서 리눅스 하리 보 메가 룰렛에서는、영상 신호의 출력 형식이 변경됨。특히、MIPI CSI-2 신호 형식。하리 보 메가 룰렛 키트 보드에、CMOS 이미지 센서 및 이미지 처리 프로세서(ISP)를 탑재하고 있습니다、이 이미지 처리 프로세서에서 압축되지 않은 YUV422 신호를 MIPI CSI-2 신호로 보드 외부로 출력합니다(그림 2)。
그림 2 리눅스 하리 보 메가 룰렛 보드
MIPI CSI-2 신호는 4레인 구성입니다、레인당 데이터 전송 속도는 1.2Gbit/sec 및 높음。즉、4레인 총 데이터 전송 속도는 4.초당 8G비트에 도달。이것은 4K、30fps의 영상 신호 전송에 요구되는 4.초당 75G비트 이상、비압축 상태로 영상 신호를 전송할 수 있습니다(표 1)。
표 1 대응하는 영상의 해상도
드라이버는 쉽게 구현 가능
MIPI CSI-2 신호의 전송처로서 사용할 수 있는 것은、네덜란드 NXP semiconductors의 64비트 프로세서(SoC) 'i.MX 8M/i.MX 8M Mini'가 장착된 싱글 보드 컴퓨터。OS에는 Linux OS를 사용할 수 있습니다。이것이 리눅스 하리 보 메가 룰렛라고 명명된 이유입니다。
여기서 걱정되는 것은、드라이버·소프트웨어이다。UVC 하리 보 메가 룰렛에서、전용 드라이버 소프트웨어를 준비할 필요 없음、사용자가 해야 할 일은 UVC 하리 보 메가 룰렛와 컴퓨터를 USB 케이블로 연결하는 것뿐이었습니다。그러나 리눅스 하리 보 메가 룰렛에서는、전용 드라이버 소프트웨어를 준비해 SoC에 실장하지 않으면 영상 신호를 전송할 수 없다。이 구현 작업이 매우 어렵다면、리눅스 하리 보 메가 룰렛 사용자는 소수의 사람들에게만 제한될 것입니다。
그래서 자인 일렉트로닉스에서는、전용 드라이버 소프트웨어를 SoC에 구현하는 작업을 간소화하는 방법을 준비했습니다。우선、전용 드라이버 소프트웨어 소스 코드를 회사가 개발、이것을 사용자에게 제공。자세한、이 소스 코드를 Linux OS와 병합하여 컴파일、SoC에서 구현하는 일련의 작업에 대해、'시작 가이드 준비됨。여기에 표시된 단계에 따라 작업하면、누구나 쉽게 전용 드라이버 소프트웨어를 SoC에 구현할 수 있게 된다”(쿠와야마)라고 하는。
여기서 걱정되는 것은、드라이버·소프트웨어이다。UVC 하리 보 메가 룰렛에서、전용 드라이버 소프트웨어를 준비할 필요 없음、사용자가 해야 할 일은 UVC 하리 보 메가 룰렛와 컴퓨터를 USB 케이블로 연결하는 것뿐이었습니다。그러나 리눅스 하리 보 메가 룰렛에서는、전용 드라이버 소프트웨어를 준비해 SoC에 실장하지 않으면 영상 신호를 전송할 수 없다。이 구현 작업이 매우 어렵다면、리눅스 하리 보 메가 룰렛 사용자는 소수의 사람들에게만 제한될 것입니다。
그래서 자인 일렉트로닉스에서는、전용 드라이버 소프트웨어를 SoC에 구현하는 작업을 간소화하는 방법을 준비했습니다。우선、전용 드라이버 소프트웨어 소스 코드를 회사가 개발、이것을 사용자에게 제공。자세한、이 소스 코드를 Linux OS와 병합하여 컴파일、SoC에서 구현하는 일련의 작업에 대해、'시작 가이드 준비됨。여기에 표시된 단계에 따라 작업하면、누구나 쉽게 전용 드라이버 소프트웨어를 SoC에 구현할 수 있게 된다”(쿠와야마)라고 하는。
자동 초점에는 PDAF 채택
발매한 하리 보 메가 룰렛 개발 키트는、CMOS 이미지 센서, 이미지 처리 프로세서(ISP) 등을 구현한 보드、mini-SAS 케이블로 구성。CMOS 이미지 센서、UVC 하리 보 메가 룰렛와 마찬가지로 소니 세미컨덕터 솔루션의 'IMX258'을 채택했습니다。화소수는 약 1300만(4224화소×3192픽셀)、최대 프레임 속도는 30프레임/초。ISP는、자인 일렉트로닉스의 'THP7312-P'를 채용 중、MIPI CSI-2 신호의 레인당 데이터 전송 속도가 최대 1.2Gbit/sec 및 높음。UVC 하리 보 메가 룰렛에서 채택한 ISP 'THP7312'는 레인당 최대 1.0Gbit/sec。보드의 외형 치수는 35mm×55mm×1.2mm로 작음。또한、Linux 하리 보 메가 룰렛와 싱글 보드 컴퓨터 사이의 연결 가능한 거리는 수십 cm 정도입니다。
자동 초점 기능은、일반적인 대비 방식 외에도、위상차 검출 방식(PDAF: Phase Detection Auto Focus) 채택。PDAF는、콘트라스트 방식에 비해 단시간에 초점을 맞출 수 있기 때문에、높은 화질화 가능。'4K、30fps 영상의 비압축 전송 가능、PDAF를 채용한 고화질 하리 보 메가 룰렛 개발 키트의 제품화는 업계 최초”(쿠와야마)이다。
촬영한 영상/화상의 밝기나 대비 등은、Linux OS에서 제공하는 하리 보 메가 룰렛용 명령 "V4L2(Video for Linux ver.2)'를 사용하여 조정할 수 있습니다。렌즈 음영 및 데모 자이크、톤 매핑과 같은 미세한 화질 맞춤설정에 대해、자인 일렉트로닉스에서 제공하는 ISP용 하리 보 메가 룰렛 개발 키트(CDK)를 사용할 수 있습니다。이외、CMOS 이미지 센서를 내장한 하리 보 메가 룰렛 모듈의 개체 차이를 조정하는 기능 등을 탑재했다。일반적으로 하리 보 메가 룰렛 모듈은、CMOS 이미지 센서 및 렌즈의 특성에 편차가 있기 때문에、색감과 밝기、렌즈의 음영 특성 등이 개체마다 다르다。여기서 이번에는、하리 보 메가 룰렛 모듈의 특성 측정、결과에서 얻은 보정 계수를 하리 보 메가 룰렛 모듈에 내장된 EEPROM에 쓴。시스템 부팅 시、ISP가 이 데이터를 로드、출력된 영상/이미지 신호를 보정하여、하리 보 메가 룰렛 모듈의 개체 차이를 억제。
자동 초점 기능은、일반적인 대비 방식 외에도、위상차 검출 방식(PDAF: Phase Detection Auto Focus) 채택。PDAF는、콘트라스트 방식에 비해 단시간에 초점을 맞출 수 있기 때문에、높은 화질화 가능。'4K、30fps 영상의 비압축 전송 가능、PDAF를 채용한 고화질 하리 보 메가 룰렛 개발 키트의 제품화는 업계 최초”(쿠와야마)이다。
촬영한 영상/화상의 밝기나 대비 등은、Linux OS에서 제공하는 하리 보 메가 룰렛용 명령 "V4L2(Video for Linux ver.2)'를 사용하여 조정할 수 있습니다。렌즈 음영 및 데모 자이크、톤 매핑과 같은 미세한 화질 맞춤설정에 대해、자인 일렉트로닉스에서 제공하는 ISP용 하리 보 메가 룰렛 개발 키트(CDK)를 사용할 수 있습니다。이외、CMOS 이미지 센서를 내장한 하리 보 메가 룰렛 모듈의 개체 차이를 조정하는 기능 등을 탑재했다。일반적으로 하리 보 메가 룰렛 모듈은、CMOS 이미지 센서 및 렌즈의 특성에 편차가 있기 때문에、색감과 밝기、렌즈의 음영 특성 등이 개체마다 다르다。여기서 이번에는、하리 보 메가 룰렛 모듈의 특성 측정、결과에서 얻은 보정 계수를 하리 보 메가 룰렛 모듈에 내장된 EEPROM에 쓴。시스템 부팅 시、ISP가 이 데이터를 로드、출력된 영상/이미지 신호를 보정하여、하리 보 메가 룰렛 모듈의 개체 차이를 억제。
해당 싱글 보드 컴퓨터 확장에
이번에 발매한 하리 보 메가 룰렛 개발 키트(Linux 하리 보 메가 룰렛)는 이미、미국 Digi-Key Electronics 사의 인터넷 우편 주문 사이트에서 판매를 시작하고 있습니다。가격은 약 2만 8000엔이다。<구매 사이트는 여기>
앞으로 자인 일렉트로닉스는、MIPI CSI-2 신호의 전송 대상으로 사용할 수 있는 싱글 보드 컴퓨터 유형을 확장할 계획을 세우고 있습니다。현재、NXP Semiconductors의 64비트 프로세서인 "i.MX 8M Nano/i.MX 8M Plus'가 장착된 싱글 보드 컴퓨터 및、미국 NVIDIA의 싱글 보드 컴퓨터 'Jetson' 등。
앞으로 자인 일렉트로닉스는、MIPI CSI-2 신호의 전송 대상으로 사용할 수 있는 싱글 보드 컴퓨터 유형을 확장할 계획을 세우고 있습니다。현재、NXP Semiconductors의 64비트 프로세서인 "i.MX 8M Nano/i.MX 8M Plus'가 장착된 싱글 보드 컴퓨터 및、미국 NVIDIA의 싱글 보드 컴퓨터 'Jetson' 등。