NISTとは何か、NISTとFRVT
NISTとはなにか
「ＮＥＣの顔認証技術が５回目の世界一に」という見出しでニュースになっていました。日本の企業が世界一になるなんて誇らしいですね。
さて顔認証プログラムの記事を読むと何かと出てくる単語「 NIST 」。
今日は NIST (National Institute of Standards and Technology) についてまとめます。
NISTとは、アメリカ合衆国の連邦政府機関の一つで、科学技術に関連する標準についての研究などを行う機関。主に度量衡や計測・計量についての標準を管理したり、関連する科学研究や技術開発を推進している。1988年に前身のNBS（National Bureau of Standards：国立標準局）から改組された。
NIST 【National Institute of Standards and Technology】
FRVTでは何をしているか
NISTでは FRVT (Face Recognition Vendor Test) というコンテストを常時開催しています。
FRVT is an ongoing activity, and all evaluations run continuously with no submission deadlines. For the FRVT 1:1, 1:N, and Quality tracks, participants may send ONE submission as often as every four calendar months from the last submission for evaluation. For FRVT MORPH, the number and schedule of submissions is currently not limited, so participants can send submissions at any time. Algorithm submissions will be processed on a first-come first-serve basis for inclusion in subsequent reports.
https://www.nist.gov/programs-projects/face-recognition-vendor-test-frvt-ongoing
例えば、1:N 識別であれば、
- VisaMC dataset: FNMR of 0.025 or less at FMR=0.0001 OR
- Mugshot dataset: FNMR of 0.025 or less at FMR=0.00001
を満たしていなければなりません。
- FNMR: False Non-match Rate
- 1回の照合に対するエラーの確率、別の人物の顔を同じ人物と判断してしまう率
- FMR: False Match Rate
- 同じ人物の顔を別の人物と判断してしまう率
絶対に間違えてはいけない認証を競い合うわけですからすごく厳しい基準です。2018 年後期のレポートは「ここ」から閲覧可能です。
The primary dataset is comprised of 26.6 million reasonably well-controlled live portrait photos of 12.3 million individuals.
Executive Summary, NISTIR 8271
物凄い数ですね！
少し前には顔の経年変化に対して NEC はマイクロソフトにかなり負けていました。
過去何回か総合１位をとっていますが、この様なデータも注視するべきだと思います。むしろここから追い上げたのが凄いと思います。
FRVTは「強い顔認証」のコンテスト
強い顔認証とは大規模顔認証システムを指します。
NECが挑戦したFRVTですが、このようなコンテストの歴史は古く近年でも上位が目まぐるしく入れ替わるなど火花をちらしています。
別記事に「顔認証システムの選び方」と題してまとめましたが、NISTなどで行われるようなコンテストの場合、非常に厳しい基準が設けられています。端的に言うとすれば
- 異なる民族の 10 年経年変化した顔を正確に区別することが出来る
- 2660 万枚のデータベースの中から一瞬で探し当てる（または居ないと判断できる）
- 別々の人物の顔を同じ人物と誤って判別してしまう確率が 0.25% 以下
などです。
使用用途からすると納得です。万が一間違うと大勢に不利益が生じるもの、例えば空港の入国審査や ATM などです。これらは入国審査官やカードの照合を担保にしているものの、絶対に間違えてはいけない例です。
これらを「強い顔認証」と呼びます。
反対の「弱い顔認証」とは何でしょう。強い顔認証にメリットとデメリットがあるならば、全く逆が弱い顔認証にあたります。
弱い顔認証：中小規模顔認証システム
詳しくは関連記事「顔認証システムの選び方」にありますのでご参照いただくとして、ここで簡単にまとめるとすると強い顔認証は開発費が高くそれは使用料に跳ね返ってくること、弱い顔認証は人間の認知能力は超えている上で開発費用が低く使用料も低いことが挙げられます。
もともと使用される用途範囲の前提が違うのです。考えてみてください。
「認証率って何？」
一般の入退室管理に 2660 万人も出入りしますでしょうか？
しかも民族がバラバラで、登録した写真が10年前のものであるなんてことありますか？
強い顔認証は空港などで使うものです。ビルの入退室や電子カルテのセキュリティには余剰すぎる計算資源を使いますし値段が高すぎます。
FRVT は「強い顔認証」のコンテストです。「弱い顔認証」にはコンテストはありません。なんとなく雰囲気は掴めましたでしょうか。
弱い顔認証の検証
とはいっても、「強い顔認証」には公的機関の厳しい試験があり選ぶ指標が分かるのに対して、「弱い顔認証」ではどれくらいの顔認識が出来るか不安になられる方もいらっしゃるかと思います。
実際に動画でご紹介いたしますのでご覧ください。
まとめ
「強い顔認証（大規模顔認証システム）」のコンテストは NIST という場所で行われているよ、そのコンテストの名前は FRVT だよ、ということは分かって頂けましたでしょうか。
「弱い顔認証（中小規模顔認証システム）」にはこの様な公的機関のコンテストはありませんので不安に思われる方に向けて動画で紹介いたしました。
これら2つの顔認証はシステムの中身が全く違いますから顔認証を導入したい企業様はどちらを選べばいいのか分からなくなってしまうことと思います。関連記事：顔認証システムの選び方にそのことが書いてありますのでご参照ください。
以上です
最後までお読み頂きありがとうございました。
