고속 랜덤 룰렛 사이트 표준 'MIPI'란?？모바일 테두리 돌출、자동차에도 적용 카메라 내장을 다면적으로 랜덤 룰렛하는 시스템 구축、"카메라의 SWARM/IoT"의 실현을 향해 대폭 전진에
2019.02.12
- 기사
- 칼럼
스마트폰 및 디지털 카메라뿐만 아니라、카메라 기능이 탑재된 애플리케이션이 급증함。자동차는 물론、XR 단말기 및 산업 기기、의료 장비、교육 장비、드론 등으로 카메라 기능을 탑재하는 제품이 증가하고 있습니다。그러나、이 시리즈의 첫 번째와 두 번째로 지적한대로、카메라 기능을 애플리케이션에 통합하는 작업은 일근줄이 아니다。하드웨어와 펌웨어 모두에 대한 지식이 필요하기 때문。자인 일렉트로닉스가 제공하는 카메라 개발 키트 'CDK'를 사용하면、펌웨어 개발 노력을 크게 줄일 수 있습니다。그러나、카메라 기능을 통합하는 데 첫 도전하는 디자이너、그것만으로는 충분하지 않을 것입니다。그곳에서 자인에서는、새로운 노력에 착수한。카메라 기능의 내장 작업을 다면적으로 랜덤 룰렛하는 체제를 구축함과 동시에、새로운 애플리케이션에 최적화된 ISP(이미지 신호 프로세서) 및 CDK 개발。
센서 네트워크 구축 진행
``SWARM(스웜)''이라는 단어를 알고 있을까。이것은、수많은 센서를 세상에 설치하기、각각이 무선으로 데이터를 교환하는 네트워크를 가리키는 기술 용어입니다。벌레나 새들의 무리처럼 센서가 존재하기 때문에 SWARM(무리)로 명명되었습니다。이름 부모는、미국 캘리포니아 대학 버클리 교수의 Jan Rabaey(장 라바이에)씨。
SWARM은、센서 네트워크라는 단어와 거의 동의어。현재는、센서 네트워크는 IoT(Internet of Things)라는 단어로 대체됨、전세계에서 사용되는 기술 용어입니다。
센서 네트워크 구축은 전 세계적으로 진행되고 있습니다、SWARM、바꾸어 말하면 IoT가 점차 실현되고 있습니다。반면에、랜덤 룰렛에 대해서도 각종 센서에 뒤지지 않고、다양한 장소에 설치하기 시작했습니다。감시 랜덤 룰렛 및 스마트폰、자동차、XR 터미널、산업 장비、의료 장비、교육 장비、드론 등에 랜덤 룰렛 기능을 탑재하는 것은、이제 더 이상 당연하다고 말할 수 있을 것입니다。모두는 '랜덤 룰렛 SWARM'과 '랜덤 룰렛 IoT'도 현실이 될 것입니다。
SWARM은、센서 네트워크라는 단어와 거의 동의어。현재는、센서 네트워크는 IoT(Internet of Things)라는 단어로 대체됨、전세계에서 사용되는 기술 용어입니다。
센서 네트워크 구축은 전 세계적으로 진행되고 있습니다、SWARM、바꾸어 말하면 IoT가 점차 실현되고 있습니다。반면에、랜덤 룰렛에 대해서도 각종 센서에 뒤지지 않고、다양한 장소에 설치하기 시작했습니다。감시 랜덤 룰렛 및 스마트폰、자동차、XR 터미널、산업 장비、의료 장비、교육 장비、드론 등에 랜덤 룰렛 기능을 탑재하는 것은、이제 더 이상 당연하다고 말할 수 있을 것입니다。모두는 '랜덤 룰렛 SWARM'과 '랜덤 룰렛 IoT'도 현실이 될 것입니다。
랜덤 룰렛의 활약의 장소가 퍼진다
랜덤 룰렛 기능이 탑재된 애플리케이션이 빠르게 증가하고 있습니다。이전에는 모바일 기기와 자동차가 '2대 사용자'였지만、최근에 이 상황이 확실히 변화하고 있습니다。XR 단말기 및 산업 기기、의료 장비、교육 기기 등에서도 랜덤 룰렛 기능의 탑재가 단번에 진행되고 있기 때문이다。
예:、산업용으로、VR(가상 현실) 및 AR(증강 현실)、MR(혼합 현실)의 유지보수 작업에 활용이 진행 중。항공기 유지보수에 AR 사용、랜덤 룰렛로 작업 상황을 촬영하는 동안、헤드 마운트 디스플레이에 해당 영상을 표시、필요한 경우 이미지의 일부에 매뉴얼을 표시할 수 있습니다(그림 1)。MR을 활용하면、랜덤 룰렛로 촬영한 현실 공간에 3D(3차원) 물체 표시、손과 같은 움직임으로 물체를 조작할 수 있습니다。현실을 사용하지 않고、가상적으로 밸브를 돌리는 등의 정비 작업의 트레이닝이 가능해지는 것이다。
예:、산업용으로、VR(가상 현실) 및 AR(증강 현실)、MR(혼합 현실)의 유지보수 작업에 활용이 진행 중。항공기 유지보수에 AR 사용、랜덤 룰렛로 작업 상황을 촬영하는 동안、헤드 마운트 디스플레이에 해당 영상을 표시、필요한 경우 이미지의 일부에 매뉴얼을 표시할 수 있습니다(그림 1)。MR을 활용하면、랜덤 룰렛로 촬영한 현실 공간에 3D(3차원) 물체 표시、손과 같은 움직임으로 물체를 조작할 수 있습니다。현실을 사용하지 않고、가상적으로 밸브를 돌리는 등의 정비 작업의 트레이닝이 가능해지는 것이다。
그림 1 AR(증강 현실)의 이미지
랜덤 룰렛 부품에
다양한 애플리케이션에 랜덤 룰렛 기능이 탑재됨。이런 추세는、'랜덤 룰렛 부품화'를 의미한다고 말할 수 있을 것입니다。부품화가 진행되면、보다 다양한 제조업체가 랜덤 룰렛 기능을 탑재할 것입니다。
그러나、랜덤 룰렛 기능의 통합은 그리 간단하지 않습니다。이 시리즈의 첫 번째와 두 번째로 지적한대로、랜덤 룰렛 기능을 통합하려면、ISP(이미지 신호 프로세서)를 다루기 위해 하드웨어와 펌웨어 양쪽에서、상당히 높은 지식이 필요하기 때문입니다(그림 2)。일반、하드웨어에 강한 기업은 임베디드 펌웨어 개발에서、내장 개발에 강한 기업은 하드웨어 개발로 고전하는 경우가 많은 것 같다。
게다가、이다。랜덤 룰렛가 부품화되어 다양한 제조업체가 채택하게 되면、그 중에는、전통적으로 일렉트로닉스와 전혀 관련이 없는 분야에서 사업을 전개하고 있던 메이커가 포함될 것이다。예:、헬멧을 제조하고 있던 메이커가 VR/AR/MR 기능을 탑재한 제품의 개발에 임하기、자동차 도어 미러를 만들었던 제조업체가 거울을 랜덤 룰렛로 대체하는 경우가 나올 것입니다。
이러한 제조업체는、하드웨어 및 펌웨어에 대한 지식을 덜 축적할 것으로 예상됨。이 때문에 랜덤 룰렛 기능의 내장 작업이 난항할 가능성이 높습니다。최악의 경우、개발이 실패로 끝날 수 있습니다。이런 사태는 절대로 피해야 합니다。
그러나、랜덤 룰렛 기능의 통합은 그리 간단하지 않습니다。이 시리즈의 첫 번째와 두 번째로 지적한대로、랜덤 룰렛 기능을 통합하려면、ISP(이미지 신호 프로세서)를 다루기 위해 하드웨어와 펌웨어 양쪽에서、상당히 높은 지식이 필요하기 때문입니다(그림 2)。일반、하드웨어에 강한 기업은 임베디드 펌웨어 개발에서、내장 개발에 강한 기업은 하드웨어 개발로 고전하는 경우가 많은 것 같다。
그림 2 ISP(이미지 신호 프로세서) 'THP7312'
게다가、이다。랜덤 룰렛가 부품화되어 다양한 제조업체가 채택하게 되면、그 중에는、전통적으로 일렉트로닉스와 전혀 관련이 없는 분야에서 사업을 전개하고 있던 메이커가 포함될 것이다。예:、헬멧을 제조하고 있던 메이커가 VR/AR/MR 기능을 탑재한 제품의 개발에 임하기、자동차 도어 미러를 만들었던 제조업체가 거울을 랜덤 룰렛로 대체하는 경우가 나올 것입니다。
이러한 제조업체는、하드웨어 및 펌웨어에 대한 지식을 덜 축적할 것으로 예상됨。이 때문에 랜덤 룰렛 기능의 내장 작업이 난항할 가능성이 높습니다。최악의 경우、개발이 실패로 끝날 수 있습니다。이런 사태는 절대로 피해야 합니다。
가치 체인 구축에
거기서 자인 일렉트로닉스는、카메라 기능의 임베디드 개발을 랜덤 룰렛하는 시스템 구축을 서두르는 중。기본적으로、랜덤 룰렛이 필요한 제조업체의 상황에 따라 다각적인 랜덤 룰렛을 준비할 생각。랜덤 룰렛 체제는 크게 3가지。
첫 번째는、이 시리즈의 첫 번째와 두 번째로 소개된 랜덤 룰렛 개발 키트 'CDK'를 제공하는 것。CDK는、소프트웨어 개발 키트(SDK) 및 평가 보드(EVB)、GUI 도구(3T: THine Tuning Tool)로 구성됨(그림 3)。
이것을 사용하면、GUI 도구로 매개변수 등을 설정하기만 하면 펌웨어를 자동 생성할 수 있다(그림 4)。즉、논프로그래밍、또는 코딩이 없는 펌웨어를 랜덤 룰렛할 수 있습니다。펌웨어 랜덤 룰렛 임계값을 훨씬 낮출 수 있습니다。
그러나、CDK를 잘 다루는、랜덤 룰렛 및 이미지 처리에 대한 지식이 필요함。게다가 CDK를 사용하더라도、프로그래밍 작업이 필요할 수 있음。특히、사용하는 이미지 센서마다 레지스터 설정이 다르기 때문에、그에 대응하는 드라이버 소프트웨어를 개발하는 경우이다。외부에서 드라이버 소프트웨어를 얻을 수 없으면、자신이 개발할 수밖에 없는 방법。
카메라 및 이미지 처리에 대한 지식에 자신이 없다。또는 프로그래밍 경험이 부족함。이러한 사용자에게 제공되는 랜덤 룰렛 시스템、두 번째 웹 컨퍼런스。자인 일렉트로닉스에서는、하드웨어 및 소프트웨어 개발 각각을 위한 데이터베이스를 구축했습니다。이것을 이용하여、사용자가 개발 작업에 빠질 것 같은 포인트를 개발 초기 단계에서 추정、그에 따라 적절한 랜덤 룰렛 정보 제공。대부분의 경우、한 번의 짧은 웹 컨퍼런스로 문제를 해결할 수 있습니다。
그러나 경우에 따라、웹 컨퍼런스에서도 문제를 해결할 수 없는 경우도 있습니다。그때 출연하는 것이 세 번째 랜덤 룰렛 체제。이것은 카메라 기능의 통합을 전문으로 하는 시스템 통합자를 사용자에게 소개하는 것이다。
자인 일렉트로닉스는、ISP 및 CDK를 수많은 사용자에게 제공하므로 다양한 사용자와의 접촉이 있습니다。그 중에는、랜덤 룰렛 기능의 시스템 통합자도 포함。자세한、이미지 센서 용 드라이버 및 소프트웨어에 대해서도、자인 일렉트로닉스가 라이브러리로 라이선스를 받은 것도 있습니다.、사용자가 과거에 개발한 드라이버 소프트웨어를 라이센스해 주는 경우도 있다。자인 일렉트로닉스는、이러한 시스템 통합자 및 드라이버 소프트웨어 개발 업체、랜덤 룰렛 기능의 편입으로 고민하는 유저 사이를 가지고 있는 역할을 완수해 나가는 생각이다。
실제로、자인 일렉트로닉스 랜덤 룰렛 기술 팀에서 제품 관리자로 일하는 쿠와야마 카츠미는、이 회사가 개최하는 세미나 간의 모임에서、사용자와 서포터에게 '일본 출발의 랜덤 룰렛 개발 커뮤니티를 CDK로 구축할 수 있다면 즐겁다고 생각하지 않겠습니까?？'。그래서 앞으로도、랜덤 룰렛 기능의 통합에 관한 「밸류 체인의 구축」에 총력을 들여 임해 가는。
첫 번째는、이 시리즈의 첫 번째와 두 번째로 소개된 랜덤 룰렛 개발 키트 'CDK'를 제공하는 것。CDK는、소프트웨어 개발 키트(SDK) 및 평가 보드(EVB)、GUI 도구(3T: THine Tuning Tool)로 구성됨(그림 3)。
그림 3 랜덤 룰렛 개발 키트(CDK)에 포함된 평가 보드(EVB)
이것을 사용하면、GUI 도구로 매개변수 등을 설정하기만 하면 펌웨어를 자동 생성할 수 있다(그림 4)。즉、논프로그래밍、또는 코딩이 없는 펌웨어를 랜덤 룰렛할 수 있습니다。펌웨어 랜덤 룰렛 임계값을 훨씬 낮출 수 있습니다。
컴퓨터에 표시된 GUI 도구 '3T'에 필요한 매개변수 등을 입력하기만 하면 됩니다、펌웨어 작성 가능。
그림 4 '3T(THine Tuning Tool)'를 사용하는 모습
그러나、CDK를 잘 다루는、랜덤 룰렛 및 이미지 처리에 대한 지식이 필요함。게다가 CDK를 사용하더라도、프로그래밍 작업이 필요할 수 있음。특히、사용하는 이미지 센서마다 레지스터 설정이 다르기 때문에、그에 대응하는 드라이버 소프트웨어를 개발하는 경우이다。외부에서 드라이버 소프트웨어를 얻을 수 없으면、자신이 개발할 수밖에 없는 방법。
카메라 및 이미지 처리에 대한 지식에 자신이 없다。또는 프로그래밍 경험이 부족함。이러한 사용자에게 제공되는 랜덤 룰렛 시스템、두 번째 웹 컨퍼런스。자인 일렉트로닉스에서는、하드웨어 및 소프트웨어 개발 각각을 위한 데이터베이스를 구축했습니다。이것을 이용하여、사용자가 개발 작업에 빠질 것 같은 포인트를 개발 초기 단계에서 추정、그에 따라 적절한 랜덤 룰렛 정보 제공。대부분의 경우、한 번의 짧은 웹 컨퍼런스로 문제를 해결할 수 있습니다。
그러나 경우에 따라、웹 컨퍼런스에서도 문제를 해결할 수 없는 경우도 있습니다。그때 출연하는 것이 세 번째 랜덤 룰렛 체제。이것은 카메라 기능의 통합을 전문으로 하는 시스템 통합자를 사용자에게 소개하는 것이다。
자인 일렉트로닉스는、ISP 및 CDK를 수많은 사용자에게 제공하므로 다양한 사용자와의 접촉이 있습니다。그 중에는、랜덤 룰렛 기능의 시스템 통합자도 포함。자세한、이미지 센서 용 드라이버 및 소프트웨어에 대해서도、자인 일렉트로닉스가 라이브러리로 라이선스를 받은 것도 있습니다.、사용자가 과거에 개발한 드라이버 소프트웨어를 라이센스해 주는 경우도 있다。자인 일렉트로닉스는、이러한 시스템 통합자 및 드라이버 소프트웨어 개발 업체、랜덤 룰렛 기능의 편입으로 고민하는 유저 사이를 가지고 있는 역할을 완수해 나가는 생각이다。
실제로、자인 일렉트로닉스 랜덤 룰렛 기술 팀에서 제품 관리자로 일하는 쿠와야마 카츠미는、이 회사가 개최하는 세미나 간의 모임에서、사용자와 서포터에게 '일본 출발의 랜덤 룰렛 개발 커뮤니티를 CDK로 구축할 수 있다면 즐겁다고 생각하지 않겠습니까?？'。그래서 앞으로도、랜덤 룰렛 기능의 통합에 관한 「밸류 체인의 구축」에 총력을 들여 임해 가는。
사용자의 목소리를 집계하여 차세대 제품 랜덤 룰렛에
자인 일렉트로닉스는 앞에서 설명한 대로、ISP 및 CDK 제공을 통해、랜덤 룰렛 기능이 필요한 많은 사용자와의 관계를 구축 중。이 때문에、다양한 사용자의 '목소리'를 신속하게 들을 수 있는 위치에 있습니다。
당연히、랜덤 룰렛 기능에 대한 요청은 애플리케이션에서 다르다。SLR 랜덤 룰렛라면、아름답게 촬영하는 것이 가장 중요합니다。그러나、의료 용도라면、아름답게 촬영하는 것보다、질병을 확실하게 발견하는 것이 우선。정상 및 병리학적인 부분의 차이를 선명하게 촬영해야 함。자세한、XR 단말기나 산업용 애플리케이션 등에서도 각각 필요한 최우선 사항이 존재함。게다가、그런 최우선 사항은 날마다 변화·진화해 간다。
즉、랜덤 룰렛 기능의 내장 작업은、기존 모바일 기기와 자동차의 2축에서、현재 의료용 및 산업용、XR 단말기 등이 가해져 N축으로 변화한 것。따라서、변화에 맞게、ISP와 CDK를 최적화해야 합니다。
이미 자인 일렉트로닉스에서는 이미、다양한 사용자의 목소리를 흡수하여、차세대 ISP 및 CDK 랜덤 룰렛에 활용하는 활동에 착수하고 있습니다。현시점、CDK에 대해서는 의료·디지털 헬스나 XR 단말등의 용도를 향해、새 기능을 랜덤 룰렛 중입니다。일부 기능에 대해서는、선행 사용자의 시도가 시작되었습니다。
일반적으로 ISP에 대해서도 차세대 제품 검토에 착수하고 있습니다。차세대 제품에서는、현품의 4K(3840×2160픽셀)에 그치지 않음、8K(7680× 4320 픽셀)과 같은 고해상도에 대해 더 높은 프레임 속도로 대응하는 것 외에도、새 애플리케이션을 위한 새로운 기능을 탑재할 생각。예:、동적 범위를 확장하는 기능 및、자동 초점(AF) 및 자동 노출(AE)、자동 화이트 밸런스(AWB)로 구성된 "3A"의 기능 및 성능 향상 등。
자세한、이러한 새로운 기능의 일부를 전용 하드웨어로 실현하면、ISP의 칩 크기 및 전력 소비를 억제하면서、후단의 에지 컴퓨터의 CNN이나 클라우드 컴퓨터의 GPU에서의 소프트웨어 처리를 훨씬 편하게、성능을 높일 수 있습니다。현재、이 하드와 소프트의 역할 분담을 파트너 기업과 검토 중이다。
당연히、랜덤 룰렛 기능에 대한 요청은 애플리케이션에서 다르다。SLR 랜덤 룰렛라면、아름답게 촬영하는 것이 가장 중요합니다。그러나、의료 용도라면、아름답게 촬영하는 것보다、질병을 확실하게 발견하는 것이 우선。정상 및 병리학적인 부분의 차이를 선명하게 촬영해야 함。자세한、XR 단말기나 산업용 애플리케이션 등에서도 각각 필요한 최우선 사항이 존재함。게다가、그런 최우선 사항은 날마다 변화·진화해 간다。
즉、랜덤 룰렛 기능의 내장 작업은、기존 모바일 기기와 자동차의 2축에서、현재 의료용 및 산업용、XR 단말기 등이 가해져 N축으로 변화한 것。따라서、변화에 맞게、ISP와 CDK를 최적화해야 합니다。
이미 자인 일렉트로닉스에서는 이미、다양한 사용자의 목소리를 흡수하여、차세대 ISP 및 CDK 랜덤 룰렛에 활용하는 활동에 착수하고 있습니다。현시점、CDK에 대해서는 의료·디지털 헬스나 XR 단말등의 용도를 향해、새 기능을 랜덤 룰렛 중입니다。일부 기능에 대해서는、선행 사용자의 시도가 시작되었습니다。
일반적으로 ISP에 대해서도 차세대 제품 검토에 착수하고 있습니다。차세대 제품에서는、현품의 4K(3840×2160픽셀)에 그치지 않음、8K(7680× 4320 픽셀)과 같은 고해상도에 대해 더 높은 프레임 속도로 대응하는 것 외에도、새 애플리케이션을 위한 새로운 기능을 탑재할 생각。예:、동적 범위를 확장하는 기능 및、자동 초점(AF) 및 자동 노출(AE)、자동 화이트 밸런스(AWB)로 구성된 "3A"의 기능 및 성능 향상 등。
자세한、이러한 새로운 기능의 일부를 전용 하드웨어로 실현하면、ISP의 칩 크기 및 전력 소비를 억제하면서、후단의 에지 컴퓨터의 CNN이나 클라우드 컴퓨터의 GPU에서의 소프트웨어 처리를 훨씬 편하게、성능을 높일 수 있습니다。현재、이 하드와 소프트의 역할 분담을 파트너 기업과 검토 중이다。