多種多様なデータを蓄積しても、価値ある洞察を得るには課題がある

　「データは新しい石油」と称されるようになり、データに基づいた人工知能技術やビッグデータ分析から新たな価値が生まれることに期待が集まっている。一方で、蓄積したデータから、何らかの意思決定の助けになるような情報に変換するにはさまざまな課題がある点が指摘されている。

　代表的な課題がデータの「サイロ化」だ。たとえば、小売企業の経営層が販売データの分析をしようとしても、地域ごと、部署ごとの売り上げや、リアル店舗とECサイトでのデータが統合されていなければ、正確な分析ができない。近年は、ソーシャルメディアから各種センサーまで膨大な情報源があるが、データ統合の課題は避けられない。

　また、保有するデータを最新化したり、名寄せしたりしなければ不正確な分析しか得られない。さらに、文書や画像、動画などの、いわゆる「非構造化データ」は急速に増加しているが、そのままではデータ分析の対象にならないため、分析を準備する前処理の工程が欠かせない。

　データ分析を担当する研究者は、データを整理する前処理の工程に80％の時間が取られ、実際のデータ分析を行うのは、わずか20％に過ぎないと言われている。高度なデータ分析のスキルを有する技術者が限られている点を考慮すると、その生産性が阻害されていることは大きな課題だ。

分析者が価値ある仕事に集中できるようデータを統合するパランティアの技術

　上記のようなビッグデータ分析に関わる課題を解決し、データに基づいた意思決定を支援することをビジョンとして掲げるのがパランティアだ。ペイパルの創業者として知られるピーター・ティールが2004年に設立した企業で、2020年7月には新規株式公開（IPO）を申請し、話題を集めている。

　米調査会社のCBインサイツによれば、その企業価値200億ドル（約2.1兆円）に及ぶという。にも関わらず、公開されている情報が少ないのは、創業当初から政府の機密情報を扱ってきた点が背景にある。米軍、国防総省、FBI（連邦捜査局）、CIA（中央情報局）といった機関からデータ分析の業務を委託されてきたため、その詳細が報じられるケースが少ないのだ。

　実際、初めに大口の資金調達を行ったのは、CIAが運営する非営利型のベンチャーキャピタルIn-Q-Telからであった。アメリカ同時多発テロ以降のテロ対策においても、パランティアの技術が用いられたという噂もある。CIAとFBIで別々にデータが管理され、「サイロ化」していたものが、パランティアによって情報統合が進み、防衛リスクの高い事象を容易に捕捉できるようになったという。

　創業者のピーター・ティールは、決済サービスであるペイパルの運営において、不正な取り引きの検知に取り組んできた。パランティアでも、疑わしい活動の検知にその知見を応用していると言われる。

　パランティアの技術は、複数の層になって構成され、データの統合から、ユーザーが高度な分析を行えるところまで網羅している点に特徴がある。

　まず、データ統合においては、各種データベース、インターネット上の公開情報、文書などの非構造化データから情報を抽出する。次に、文書から特定の単語を抜き出したり、個人情報を匿名化したりする前処理を行う。そして、担当者ごとにアクセスできる情報を制限するといった管理機能もある。さらに、分析を実施する際には、データ間の関連性を可視化する、非構造化データを検索する、といった機能が含まれている。


　人間は、経験に基づいて不審な動きを検知するのに優れているが、多種多様なデータを処理するには限界がある。そこで、パランティアでは、データ処理に優れたテクノロジーが、人間の分析能力をより良くさせるというビジョンを掲げている。パランティアを使えば、サイロ化やデータ品質の担保といったビッグデータにまつわる課題を解決し、ユーザーはデータの前処理に時間をとられることなく、高度な分析に集中できるのだ。

【次ページ】テロから新型コロナまで、実社会のデータから洞察を得てきた実績