レンズの歪曲収差と対応方法(6)

前回（第5回）まで、光学歪みのある写真をImageMagickとopenCVを用いた補正を行いつつ関連した解説を行いました。

第6回となる今回はFACE01の次期アップデートとなるv.1.4.11にて実装予定となるutils.distort_barrel()について解説したいと思います。(2023年1月21日GitHubに公開されました)

1 データ拡張
2 歪曲収差とは
3 データ拡張のためのメソッド utils.distort_barrel()
4 example code
5 example codeの概略
6 まとめ

データ拡張

深層学習モデルを作成する際、通常もとになるデータを増やすためにデータ拡張処理を行います。PyTorchなどのフレームワークにはこのデータ拡張機能がもともと備わっています。

上記画像は主なデータ拡張の例になります。みたとおり、様々な画像処理を行ってデータを水増ししていることが分かります。

さてレンズの歪曲収差と対応方法(1)〜(5)でご紹介しましたとおり、カメラレンズを通した顔は歪曲収差します。

通常発生する複数の収差はキャリブレーションによって修正するのが主流です。しかしながら現場を見る限り（強い顔認証を除いて）キャリブレーションされていないことが「普通」です。通常のmodelを使う限り、これは大きな精度低下をもたらします。

歪曲収差とは

歪曲収差はレンズにより発生する収差のうちの1種類です。スマホでのカメラやノートPC上のカメラでよく発生する収差です。上記レンズの歪曲収差と対応方法(1)〜(5)でわかりやすく取り上げています。詳細はこちらをご覧ください。

[mathjax]

$$R_{src} = r * ( A*r^3 + B*r^2 + C*r + D )$$

上記の式のうち$C$の値だけを変更します。

データ拡張のためのメソッド utils.distort_barrel()

utilsクラスのdistort_barrel()メソッドはデータ拡張（データ水増し）(Data Augmentation) に用います。

今回元画像として使わせて頂く画像はぱくたそ様からダウンロードいたしました。

example code

"""Example of to distort images.

Summary:
    In this example, you can learn how to get distorted images.
    
Args:
    path (str): Directory path where images containing faces exist
    size (int, optional): Specify the number of px for the extracted face image with an integer. Default is 200.

Usage:
    >>> python3 example/distort_barrel.py path size

"""

# Operate directory: Common to all examples
import os.path
import sys

dir: str = os.path.dirname(__file__)
parent_dir, _ = os.path.split(dir)
sys.path.append(parent_dir)

from typing import Dict

from face01lib.Initialize import Initialize
from face01lib.utils import Utils


# Initialize
CONFIG: Dict =  Initialize('DEFAULT', 'info').initialize()
utils = Utils(CONFIG['log_level'])


def main(path: str, size: int = 200) -> None:
    """Simple example.

    This simple example script takes a path which contained png, jpg, jpeg files in the directory, 
    distort barrel and saves them.
    
    Args:
        path (str): absolute path
        size (int, optional): Width and height. Defaults to 200.
        initial_value (float): Initial value. Default is -0.2.
        closing_value (float): Closing value. Default is 0.2.
        step_value (float): Step value. Default is 0.01.

    Return:
        None

    Note:
        ImageMagick must be installed on your system.
        - See[ImageMagick](https://imagemagick.org/script/download.php)
    """
    utils.distort_barrel(path, size)


if __name__ == '__main__':
    args: list = sys.argv
    main(args[1], size=200)