バージニア工科大学は、世界中の危機的出来事に関するデータを収集し、アーカイブするための大規模なデジタル ライブラリの開発に取り組んでいます。 同社は、LucidWorks のビッグデータ テクノロジーを利用して、災害をより深く理解し、社会が災害に対してどのように備えられるかをより良く理解するという使命を支援しています。
私は、エドワード・フォックス博士と話す機会を提供されました。 バージニア工科大学 彼の災害対策プロジェクトとそれを使った成功について ルシッドワークス.
自己紹介と所属組織を紹介してください。
私の名前はエドワード A 博士です。 キツネ。 私は災害対策への取り組みに関連する 3 つの役割を担っています。 私はコンピューター サイエンス学部の教授であり (コースを教え、関連する研究とサービスに従事しています)、バージニア工科大学の副学長の教員顧問を務めています。 情報技術 (キャンパス IT に関するアドバイス、大学図書館との連携を含む)、およびデジタル図書館研究所 (DLRL) の所長。 DLRL は、情報技術とコンピューター サイエンス学部の支援を受けて、バージニア工科大学の研究所として設立されました。
長年にわたり、デジタル ライブラリに関連する私たちの仕事は、理論、ソフトウェアとシステムの開発、実験、人間の問題をカバーしてきました。 私たちのミッションステートメントでは、情報検索、マルチメディア、ハイパーメディア、視覚化の最高のものと、生きた図書館の最高かつ最も人道的な側面を統合することに取り組んでいることを説明しています。 バージニア工科大学は、バージニア州の州制度の一部であるトップの研究大学であり、我が国のランドグラント大学の 1 つです。 約 30,000 人の学生がいます。
この種のテクノロジーが必要な何をしていましたか?
Crisis, Tragedy, and Recovery Network (NSF が支援する助成金プロジェクト) は、さまざまな種類の悲劇的な出来事に関連する幅広いサービスを研究するデジタル図書館ネットワークです。 このデジタル ライブラリを通じて、Web サイト、写真、ビデオ、ブログ、ツイートなど、さまざまな種類の CTR 関連情報を収集し、アーカイブします。
過去 5 年間にわたり、私たちは世界中で発生したさまざまな危機事象に関するデータを収集し、アーカイブしてきました。 これは、Internet Archive との協力の恩恵を受けています。 収集されたデータの合計サイズは 10 TB を超えているため、データを処理し、デジタル ライブラリを通じてサービスを提供するには、LucidWorks のようなソフトウェア ソリューションが必要でした。
選択する前にどのような製品を検討しましたか?
Lucene、Solr、Weka などのオープン ソース ソフトウェア パッケージを使用しました。 また、当社は、SMART、CODER、MARIAN、Envision、ETANA、CITIDEL、Ensemble、SuperIDR など、長年にわたって開発した多数のソフトウェア システムを採用してきました。 1978 年以来、情報検索とマルチメディア テクノロジー、人工知能と機械学習ソフトウェアに取り組んできた私たちは、関連するアルゴリズムとツールキットを検討しました。 また、DSpace、Fedora、Drupal など、Open Archives Initiative に接続されたリポジトリ、コンテンツ管理、デジタル ライブラリ システムとも連携してきました。
この商品を選んだ理由は何ですか？
LucidWorks ビッグ データ フレームワークは、Web アーカイブ (WARC) ファイルの大規模なコレクションを処理/インデックス化するという私たちの目標によく適合します。 約 10 TB の WARC ファイルがあり、LucidWorks は WARC ファイルを取り込んで処理できるため、 直接 (Hadoop とそのファイル処理、および関連ワークフローを通じて)、私たちのニーズは次のとおりでした。 直接会った。
さらに、多数のオープンソース ソフトウェア ツールを 1 つの統合システムにパッケージ化し、機能します。 法人顧客にとっても、授業や研究でこのプラットフォームを使用する方が速くなることを意味します。 プロジェクト。 さらに、LucidWorks に興味がある人に適した関連教育モジュールの共有と普及の見返りとして、LucidWorks との協力関係を築くことができました。
この製品の使用によりどのような具体的なメリットがありましたか?
まず、スムーズに動作する一連のソフトウェアの恩恵を受けています。
第 2 に、ソフトウェアを 3 つの異なるハードウェア システムで動作させることに取り組んできたので、LucidWorks 担当者によるサポートの恩恵を受けてきました。
第三に、情報の保存と検索に関する大学院レベルのコースでソフトウェアを使用する際に、ドキュメントとサポートを通じて支援を受けました。
4 番目に、バージニア工科大学の「グリーン」スーパーコンピューターである System G のソフトウェアを構成したら、次のことが可能になります。 ボストンマラソン爆破事件のようなイベントのデータを迅速に処理し、一連のサポートユーザーインターフェイスを開発する プロトタイプ。 ソフトウェアを使用してデータの一部を処理したので、次の目標を確実に達成できるようです。 ソフトウェアを使用して 10 TB のデータを処理し、処理されたデータを公開/研究に利用できるようにする 使用。
最後に、LucidWorks が今後も協力していくという合意のおかげもあって、どうやら CTRnet を拡張し拡大するための後続プロジェクトについて NSF から支援を受ける可能性があります。 仕事。
他の人にどのようなアドバイスをしますか?
LucidWorks は協力するのに最適なパートナーです。 自分のアプリケーションを理解し、その分野の技術的専門知識を持っていることは重要ですが、 LucidWorks に接続されている各ツールは、技術的な問題や関連する問題に関して非常に役立ち、高品質のサービスを提供します。 サポート。
私たちの設計に合うようにソフトウェアを構成するのに少し時間がかかりましたが、それが完了すると、 受信データを自動的に処理し、ユーザーから結果にアクセスできるようにするのが簡単でした。 インターフェース。
同様の大量のデータの処理に関して同様の問題に直面している他の人も、ニーズに合わせて製品をカスタマイズし、その結果を享受できると私たちは確信しています。
最後に、興味のある方は、 一連の教育モジュール 私たちは開発しました。