NIST とは何か、NIST と FRVT

NIST, website.
NIST

NIST とはなにか

NECの顔認証技術が5回目の世界一に」という見出しでニュースになっていました。日本の企業が世界一になるなんて誇らしいですね。
さて顔認証プログラムの記事を読むと何かと出てくる単語「 NIST 」。
今日は NIST (National Institute of Standards and Technology) についてまとめます。

NIST 所在地 クリックで google Map へ飛びます
NIST 所在地 クリックで google Map へ飛びます

NISTとは、アメリカ合衆国の連邦政府機関の一つで、科学技術に関連する標準についての研究などを行う機関。主に度量衡や計測・計量についての標準を管理したり、関連する科学研究や技術開発を推進している。1988年に前身のNBS(National Bureau of Standards:国立標準局)から改組された。

http://e-words.jp/w/NIST.html

FRVT では何をしているか

NIST では FRVT (Face Recognition Vendor Test) というコンテストを常時開催しています。

FRVT is an ongoing activity, and all evaluations run continuously with no submission deadlines.  For the FRVT 1:1, 1:N, and Quality tracks, participants may send ONE submission as often as every four calendar months from the last submission for evaluation.  For FRVT MORPH, the number and schedule of submissions is currently not limited, so participants can send submissions at any time.  Algorithm submissions will be processed on a first-come first-serve basis for inclusion in subsequent reports.

https://www.nist.gov/programs-projects/face-recognition-vendor-test-frvt-ongoing
FRVT, FACE RECOGNITION VENDOR TEST
FRVT, FACE RECOGNITION VENDOR TEST

例えば、1:N 識別であれば、

  • VisaMC dataset: FNMR of 0.025 or less at FMR=0.0001 OR
  • Mugshot dataset: FNMR of 0.025 or less at FMR=0.00001

を満たしていなければなりません。

  • FNMR: False Non-match Rate
    • 1回の照合に対するエラーの確率、別の人物の顔を同じ人物と判断してしまう率
  • FMR: False Match Rate
    • 同じ人物の顔を別の人物と判断してしまう率
NIST.IR.8271FRVT-FACE RECOGNITION VENDOR TEST-IDENTIFICATION
NIST.IR.8271FRVT-FACE RECOGNITION VENDOR TEST-IDENTIFICATION

絶対に間違えてはいけない認証を競い合うわけですからすごく厳しい基準です。2018 年後期のレポートは「ここ」から閲覧可能です。

The primary dataset is comprised of 26.6 million reasonably well-controlled live portrait photos of 12.3 million individuals.

Executive Summary, NISTIR 8271

物凄い数ですね!

少し前には顔の経年変化に対して NEC はマイクロソフトにかなり負けていました。
過去何回か総合1位をとっていますが、この様なデータも注視するべきだと思います。むしろここから追い上げたのが凄いと思います。

NISTIR8238, Table 4, 経年変化に対してのエラーレートの様子
NISTIR8238, Table 4, 経年変化に対してのエラーレートの様子

FRVT は「強い顔認証」のコンテスト

強い顔認証とは大規模顔認証システムを指します。

さて、NEC が挑戦した FRVT ですが、このようなコンテストの歴史は古く、近年でも上位が目まぐるしく入れ替わるなど火花をちらしています。
別記事に「顔認証システムの選び方」と題してまとめましたが、NIST などで行われるようなコンテストの場合、非常に厳しい基準が設けられています。端的に言うとすれば

  • 異なる民族の 10 年経年変化した顔を正確に区別することが出来る
  • 2660 万枚のデータベースの中から一瞬で探し当てる(または居ないと判断できる)
  • 別々の人物の顔を同じ人物と誤って判別してしまう確率が 0.25% 以下
ATMのイラスト

などです。
使用用途からすると納得です。万が一間違うと大勢に不利益が生じるもの、例えば空港の入国審査や ATM などです。これらは入国審査官やカードの照合を担保にしているものの、絶対に間違えてはいけない例です。

これらを「強い顔認証」と呼びます。

反対の「弱い顔認証」とは何でしょう。強い顔認証にメリットとデメリットがあるならば、全く逆が弱い顔認証にあたります。

弱い顔認証:中小規模顔認証システム

詳しくは関連記事「顔認証システムの選び方」にありますのでご参照いただくとして、ここで簡単にまとめるとすると、強い顔認証は開発費が高くそれは使用料に跳ね返ってくること、弱い顔認証は人間の認知能力は超えている上で開発費用が低く、使用料も低いことが挙げられます。

もともと使用される用途範囲の前提が違うのです。考えてみてください。
一般の入退室管理に 2660 万人も出入りしますでしょうか?
しかも民族がバラバラで、登録した写真が10年前のものであるなんてことありますか?
強い顔認証は空港などで使うものです。ビルの入退室や電子カルテのセキュリティには余剰すぎる計算資源を使いますし値段が高すぎます。

認証率って何?

FRVT は「強い顔認証」のコンテストです
「弱い顔認証」にはコンテストはありません。
なんとなく雰囲気は掴めましたでしょうか。

弱い顔認証の検証

とはいっても、「強い顔認証」には公的機関の厳しい試験があり選ぶ指標が分かるのに対して、「弱い顔認証」ではどれくらいの顔認識が出来るか不安になられる方もいらっしゃるかと思います。
実際に動画でご紹介いたしますのでご覧ください。

動いている複数人物の顔認証

ウォークスルー認証を行う時は「動いている顔」を認証できる必要があります。
下の動画では複数(3人)が様々な角度から撮影され、かつ顔を色々と動かします。この状態での顔認証は「非積極認証」と呼ばれます。

色々な表情・向きを顔認証している様子
色々な表情・向きを顔認証している様子
Face01_1.0.4 使用例

マスクをしたまま顔認証

マスクを常につけている場合の顔認証はどうでしょうか。
下の動画ではマスクをつけた2人の人物の顔認証を同時に行っています。
きちんとどちらが誰なのか見分けていることがお分かりになるかと思います。

マスクをしたまま顔認証している様子
マスクをしたまま顔認証している様子
マスクをしたまま顔認証

顔認証のスピード

顔認証は入力された時点から判定を出すまでが速ければ速いほど実用的になります。
下の動画では一定間隔で顔の写真を変えていますが、顔の変化と共に顔認証が終わっている事を体感できます。
先に写真が変わってからその後顔認証されているわけですが、下の動画を見るとまるで写真と認証枠は同じ一枚の写真なんじゃないかと錯覚するほどのスピードです。念の為申し上げますが、写真の人物が変わった後に顔認証が動いています。ほぼ時間のズレを体感することなく処理が終了していることがわかります。認証枠の左上には「その人物である確率はなん%か」を示しています。
写真のように動かない対象を顔認証することを「積極認証」といいます。

積極認証の様子
積極認証の様子

未登録の顔はきちんと未登録と表示できるか

顔認証は登録されている顔にはその方の名前を表示したり座標を返したり色々するわけですが、登録されていない人はきちんと弾かなければなりません。
下の動画では俳優のモーガンフリーマンさんだけが顔登録されている場合の顔認証の様子です。
Face01 はサンプルスクリプトから呼び出して標準出力に名前・ファイル名・日付が出るようにしています。
登録されていない方は赤枠で「未登録」ときちんと出るか観てみましょう。

登録されていない顔は「未登録」と表示される様子
登録されていない顔は「未登録」と表示される様子

外人さんの顔は普通の方だと中々見分けがつかないものですが、登録されていない方はきちんと赤枠で「未登録」と出ていましたね。しかもモーガンフリーマンさん自体は一度も顔認証の間違いが発生していませんでした。

まとめ

「強い顔認証(大規模顔認証システム)」のコンテストは NIST という場所で行われているよ、そのコンテストの名前は FRVT だよ、ということは分かって頂けましたでしょうか。
「弱い顔認証(中小規模顔認証システム)」にはこの様な公的機関のコンテストはありませんので不安に思われる方に向けて動画で紹介いたしました。
これら2つの顔認証はシステムの中身が全く違いますから顔認証を導入したい企業様はどちらを選べばいいのか分からなくなってしまうことと思います。関連記事:顔認証システムの選び方にそのことが書いてありますのでご参照ください。

以上です

最後までお読み頂きありがとうございました。

Follow me!

前の記事

wxPython の改良(1)