【知的講堂】ADASの要素、140dB HDRがなぜ如此重要なのか

【智領講堂】ADASの要素、140dB HDRはなぜ如此重要なのか

概要：本稿では、HDRの画像処理技術について簡潔に紹介し、特にHDRの応用がどのようにしてよりリアルで明るく繊細な画像を実現し、画像品質と視覚効果を向上させるかに焦点を当てています。これらの技術の分析を通じて、HDRについての包括的な理解を深めましょう。

HDRとは何ですか？

HDRはハイダイナミックレンジ（High Dynamic Range）を表し、より広いダイナミックレンジと画像の細部を提供できる技術用語です。通常、あるシーンを説明する際、そのシーンの最も明るい部分と最も暗い部分の輝度比をダイナミックレンジと呼びます。ハイダイナミックレンジのシーン（High Dynamic Range Scene）とは、非常に明るい部分と非常に暗い部分が同時に存在するシーンを指します。

HDRの由来

実は、HDRはまず静止写真技術として世界に知られ、1850年代にフランスの写真家ギュスターヴ・ル・グレが初めて使用しました。彼はフィルムネガティブのダイナミックレンジの限界を理解し、その制約を克服する画像を生成するために、2枚の別々の露光を使用しました。

デジタル時代の波の中で、デジタル写真技術の発展と革新により、これらの撮影技術の概念がカメラのイメージセンサーおよびソフトウェア上で実現可能となり、さらにHDR技術の発展は、写真、画像処理、表示技術など、多くのソフトウェアとハードウェアが関連する分野に及んでいます。

HDRのシーン活用

ハイダイナミックレンジ画像は、イメージセンサーのフルウェル容量（Full Well Capacity、FWC）とベースノイズに制約されています。フルウェル容量が小さいと、より多くのハイライト情報を保存できず、ベースノイズが大きいと、より多くの暗部情報を記録できなくなります。そのため、イメージセンサーが捉えられるダイナミックレンジには限界があります。

そのため、他の方法を用いてこのようなハイダイナミックレンジのシーンを捉えるのが、ハイダイナミックレンジ画像技術（HDRイメージング）です。

しかし、HDR画像は既存の表示技術においても、必然的にダイナミックレンジの圧縮が行われ、HDRハードウェアの範囲内で処理されて表示されます。HDRシステムの不断の進歩に加え、ハードウェアやソフトウェアによるコンテンツのサポートが進むにつれ、人々はすでにハイエンドな表示分野で、より豊かな色彩と高いコントラストを備えた視覚効果を体験しています。

HDR表示を実現するには？

通常私たちが使用するスマートフォンのカメラは、10ビットのRAWデータを取得しますが、実際の環境のダイナミックレンジを正確に表現できません。そこで、複数フレームでの異なる露出によるハイダイナミックレンジ撮影技術を活用し、1回の撮影で露出過多、露出標準、露出不足の3枚以上異なる露出量のRAWデータを生成します。その後、ISPによる画像処理とHDRアルゴリズムによる融合を経て、ビット深度が向上。これにより、明部や暗部のより多くのディテールを捉え、人間の目で見たときとほぼ同じ視覚効果を再現することが可能になります。

車載分野におけるHDRセンサーは、ほぼ同時露光で撮影された3フレームまたは4フレームのLinear RAW（長時間露光、中間露光、短時間露光、超短時間露光）を融合し、高い画像深度を持つHDR RAW（通常20ビットまたは24ビット）を生成します。これにより、センサーのハードウェア出力段階でHDR RAW画像を得ることで、ダイナミックレンジの向上を実現します。その後、セグメントごとの線形圧縮を経てISPチップに送られ、画像処理が行われ、画像再構築と色再構築が行われ、実際のシーンの鮮明さと色彩が忠実に復元されます。そのため、露光設定時には、いくつかの規範に従い、異常な問題の発生を避けるよう注意が必要です。

例えば、下の画像では、動きがある際に縁に輪郭が広く現れるアーチファクトが生じ、ブレが非常に目立ち、さらにそのアーチファクトには異常な色が付いており、マシンビジョンアプリケーションにおける物体認識を著しく妨げています。また、人間の視覚的な印象としても非常に悪く感じられます。

HDR RAW画像とLinear RAW画像の表現を分析することで、主な問題がどこにあるのかを判断し、それに応じて最適化を行う必要があります。

問題を分析した結果、Linearフレームの露光比の設定が不適切であり、ハードウェアでHDR画像を合成する際に、接合部のベクトル方向に差異が生じ、その結果としてアーティファクトが現れ、完璧な実際の画像に融合できませんでした。そのため、チップメーカーが推奨する露光比を基に、露光時間を計算し設定することで、この問題を最適化する必要があります。

適切な露出比で露光時間を調整し、フレーム間のオフセット時間を短縮することで、合成されたHDR画像は人間の目線に合った印象を再現できます。

画像内のアーチファクト部分の異常な色味は、HDR画像を合成する前の特定のフレーム本来の色であるため、リニアフレーム補正が必要であり、さらに前処理としてWBゲインを調整することで最適化を支援し、HDR画像に統合した際、エッジ部分が中性色で表現されるようにします。

類似の問題点

例えば下図のように、左側の画像は太陽が写っている空を撮影したもので、太陽がピンク色に異常な現象を示しています。これは、露出時間を設定する際、より高いダイナミックレンジを得ようとした結果、極端に短いフレーム露出時間が適切に設定されず、画像の露光比が不均衡になったためであり、高ダイナミックなシーンの明るい領域に異常な現象が生じています。

チューニングを経て、適切な露光時間を調整し、他の手法と組み合わせて異常な色味を解消した結果、問題は改善されたが、高輝度領域（太陽）は以前よりもやや露出オーバー気味となり、具体的には太陽の輪郭がより大きく、周辺の光の塊の面積が増加している。

まとめ

人間の目のダイナミックレンジは一般的に約120dB程度であり、ADAS／ADの核心となるフロントカメラは、高速走行時にもさまざまな照明条件下での明暗の細部を迅速に識別し、正確に画像を捉える必要があります。そうでなければ、運転の安全性に影響を及ぼすからです。典型的なHDRのニーズとしては、車がトンネルから出た際に明るい部分も暗い部分の細部も同時に認識できること、あるいは夜景の中で極めて暗い歩行者や、逆に極めて明るい車のライト、LED信号灯などを正確に捉えることが挙げられます。理想的なダイナミックレンジは、人間の目のDRを上回り、140dB HDRに達することが求められます。

そのため、ADASアプリケーションにとって、120dBのHDRカバーは基本的な要件であり、一方で140dBのHDRカバーは自動車用機械視覚のトレンドとなっています。

関連ニュース