メインコンテンツにスキップ

Brian Dennis 博士

コーディングの技
ブレイン・デニス博士 - データ・マシン

Data Machines はどのようにビッグデータを処理するのか


Brian Dennis 博士が毎日出勤しているとき、彼の仕事が脅威金融、人身売買、サイバーセキュリティ、意思決定支援、ヘルスケア、投資、訴訟などの多様な課題に影響を与えていることを知る特権を得ています。

Data Machines Corp.はデータアナリティクス、DevOps、マシンインテリジェンス、データサイエンスにおける問題の解決策をエンジニアリングし、共有するためのクラウドアーキテクチャの設計、構築、利用に特化したデータアナリティクス企業です。同社のシステムとコードは 2,500人以上の研究者、データサイエンティスト、研究移行パートナーによって毎日使用され、高度な研究開発プロジェクトを可能にしています。Data Machinesは重要な技術のホワイトラベル移行において、政府、産業界、学術界で構成される幅広い研究チームと連携しています。

Dennis 博士は、Invincea LabsとLockheed Martinで研究職を歴任した後、2018年にData Machinesに入社しました。同社のデータエンジニアリング担当ディレクターとして、彼は20年以上にわたり国防高等研究計画庁(DARPA)などの組織と協力しながら、防衛産業におけるデータ応用中心の研究を続けています。DARPAは米国国防総省の研究開発機関で、軍用の新興技術の開発を担当しています。

"DARPAとの共同研究は、5年後、10年後までは他の人が耳にしないようなことをやっていて、10年後、15年後には信じられないようなインパクトを与えている研究者との最前線にいるのですから刺激的です。"と Dennis 博士は言います。"私たちの役割は、彼らにインフラ を提供することです。私たちは彼らの問題解決のお手伝いをしています。日々それは非常にストレスが多く、チャレンジが多いですが、結果を目の当たりにするとそれは素晴らしいことなのです。" 

Data Machines がサポートしているDARPAプロジェクトの1つに、"Learning with Less Labels"というプログラムがあります。その目的は、ラベル付きのデータ例を使用して同じ結果を得るために、はるかに少ない数のデータ例を使用する、新しくて高度な機械学習アルゴリズムを見つけることです。 

Dennis 博士はこのプロジェクトについて 簡単な説明をしてくれました。"例えば、ある画像を分類しようとしているとします。これは猫の写真なのか、それとも犬の写真なのか?もしGoogleやFacebookであれば、10億個ものラベル付きの例を集めて巨大なモデルをトレーニングしていくのは簡単です。しかしGoogleやFacebookでなければ、10億もの例を得るのは難しいです。実際、政府が気にしている分野では10億個の例など存在しないかもしれません。そこでこのプログラムの焦点は、先進的な研究者がどのようにしてアルゴリズムを開発し、画像分類のようなタスクでは、何桁分も少ない例でも、同じ品質を得ることができることを示すことにあります。"

"ラベルの少ない学習"は、物体検出、画像分類、機械翻訳に重点を置いた多面的な側面を持っています。DARPAに共通する研究アプローチでは、チームは幅広いアプローチをとっています。複数の異なる機械学習アルゴリズムを組み合わせようとしているチームもあれば、技術的なプロセスを深く掘り下げているチームもあれば、大量の計算機を使用しているチームもあれば、1枚のクラウドGPUカード上でアルゴリズムがうまく動作するようにするための研究をしているチームもあります。そして、成功したアプローチを特定しで共有学習に基づいて各チームが適応できるようにするための、独立した政府の評価チームが働いています。

Data Machines は、オーストラリア、カナダ、イスラエル、オランダ、米国全土の研究者を含む世界中のこれらのチームをサポートするインフラを提供する契約を結んでいます。

それが、Data Machines を Linode に導いた理由です。

"今日の機械学習と言えば、それはGPUを意味します。" と Dennis 博士は言います。"すべての研究者は、手に入るだけのGPU を求めています。私たちは自社のデータセンターでいくつかのGPUを稼働させていますが、世界中のフルチームをサポートするためにはもっと多くのGPUが必要でした。そこで、研究者がリーズナブルな価格でリソースを利用できる方法はないかと、パブリッククラウドプロバイダーを検討し始めました。"

"私たちは、他の大きなプロバイダーから法外な提示を受けたので、10年ほど前から個人的なユーザーであった Linode を見てみることにしました。"

Brian Dennis 博士

"Linode は GPUインスタンスの価格設定が優れているだけでなく、私たちが自分たちのデータセンターのために購入していた 探すことが難しいNVIDIAカードそのものを使用していました。さらに Linode は、他のプロバイダーではなかなかない、増分単位で GPU を提供しています。このような柔軟性の優位性は、スケールアップしたり、開発からテストに移行する際に役立ちます。

Dennis 博士は、各プロジェクトに最適なインフラ ソリューションを選択することが責任の一部であることと認識しており、常に最良の選択肢を探し他のプロバイダーを評価しています。"私たちがサポートしているプロジェクトはそれぞれ繊細なので、コスト、弾力性、柔軟性、セキュリティのバランスをとりながら、個々のベストソリューションに目を光らせなければなりません。" と Dennis 博士は言います。"しかし、私が学んだこと、そして他の人たちと共有したいアドバイスは "3文字の大きなプロバイダー以外にも、同じように価値のある選択肢がある。" ということです。Linode のような代替クラウド・プロバイダーは柔軟性があり、対応力も高い。他のプロバイダーにコンタクトを取ることにおいて、枠にとらわれない方が良いでしょう。

"そして、Data Machinesでの経験から、Linode はコスト、信頼性、顧客サービス、価格設定と展開のシンプルさなど、多くの資産をもたらしてくれると言うことができます。Linode は、比較的小規模でありながらも焦点を絞った、立ち上げが簡単なサービスを提供している点が気に入っています。余分なものはすべて、私たちの時間の足かせになります。"

Dennis 博士は、Linode が提供する信頼性と顧客サービスが大きなセールスポイントであると付け加えています。"Linode の信頼性は非常に高く、それは私たちがサービスを提供しているワールドクラスの研究者にとって非常に重要です。また、Linode の顧客サービスは一流でタイムリーです。本物の人間と一緒に仕事をしているのです。本当に厳しい要求を持つ顧客がいる場合には、優れたサービスを提供してくれることは素晴らしいことです。"

これをシェア