エフ・アイ・ティー・パシフィック株式会社ICT

高速ログ解析ツール「EMLoogle」

ログ解析ツールってなんだろう?

ログ解析ツールとは、サーバやアプリケーション、クライアント機器などが記録するログを検索し解析を行うツールです。LinuxサーバなどではGREPという検索機能が標準で実装されています。しかし高度なネットワークやビッグデータを扱う最近のシステムではログの量も膨大になりGREPを使った検索では数時間から数日かかってしまうこともあります。ログ解析ツールはログをインデックス化することによって検索時間を短縮するツールです。ただ一般的なデータベースを使ったログ解析ツールはログ量に比例してデータベースサイズも大きくなってしまい元のログ量の数倍を消費してしまうこともありました。

検索時間はより短く、インデックスサイズはより小さく

一般的にログの検索は犯罪捜査や不正利用監視など緊急性の高い要件が多く、検索時間の短縮は最も重要な要件です。同時に検索ツールでしか利用されないインデックスファイルの肥大化はシステムに大きな負担がかかります。EMLoogleは独自データベースの開発により超高速検索とインデックスの最小化の両立を実現した次世代ログ解析ツールです。

ログを価値あるデータに変えるクレンジング機能

膨大なログは様々な情報を持ち利用価値のある資産と認識されるようになりました。ただログそのものを解析に利用しようとすると、あまりに膨大なログ数や特異なデータにより正確な解析結果が得られないことがあります。EMLoogleはインデックス化されたデータを検索だけではなくいろいろな解析に利用できるようログのクレンジング(正規化)を行います。

EMLoogleの特徴

純国産エンジン

EMLoogleのベースとなる「Loogle」は理化学研究所で開発された超高速ログ検索エンジンです。理化学研究所の試験では、ログ検索ツールの代表といわれる米Splunk社の「Splunk」と比較し、Loogleのパフォーマンスにおける優位性を確認しました。EMLoogleはLoogleをベースに使いやすいユーザーインターフェースや解析機能を搭載した製品です。

高速ログ検索

高速なログ検索を実現するためには2つの要素があります。1つめは高速なインデックス化作業、2つめは高速な検索結果表示能力です。EMLoogleではLoogleエンジンによる高速インデックス化処理と最適化されたコマンド処理やブラウザUIによって検索結果をすばやく取得することが可能です。性能試験では一般的なサーバ(Xeon3.4GHz メモリ8GB程度)で1日あたり400GBものログをインデックス化し瞬時に検索可能にしています。

最小インデックス

一般的なデータベースを使ったログ検索ツールではインデックスのサイズが元ログファイルの数倍~数10倍になってしまうこともめずらしくありません。EMLoogleでは独自データベースの採用によりインデックスファイルのサイズを元ログファイル+α程度のサイズにすることができました。大規模システムでは数パーセントのサイズの違いがシステム全体のコスト設計に大きく影響します。

データクレンジング

機械学習アプリケーションの工数は多くがデータの整理、清書作業が占めています。これを軽減するためには不定形なログから直接かつ高速に目的の項目を取り出す必要があります。EMLoogleはリアルタイムでログを処理する高速データ処理コマンドを用意し、これらを自由に組み合わせるフレームワークを提供することで利用しやすいデータに変換することが可能です。

豊富な解析機能

EMLoogleではインデックスを使った検索のほかにインデックス内容を解析して利用できる機能があります。アラート機能やレポート機能、データの振り分けなど様々な利用方法があります。解析方法は一般的なキーワードや発生頻度による抽出の他、各種アルゴリズムを利用した「ふるまい検知」や「ゆらぎ検索」をすることが可能です。またこれらのアルゴリズムを有効に利用するためのアナリティクスサービスもご利用いただけます。

多彩なシステム構成

EMLoogleは高性能なエンジンにより従来のログ検索ツールと比較して少ないシステム構成(=低コスト)で運用することが可能です。1システムで複数の機器のログをインデックス化できることはもちろん、大規模ネットワークに対応したクラスタ構成にも対応します。提供形態もアプライアンス、ソフトウェア、VMと多彩でオンプレミスからクラウドまで様々なシステムに対応します。また他社データと連携してデータ解析だけをEMLoogleで行ったり、他社データをEMLoogleに移行させることも可能です。

EMLoogle 利用構成例

EMLoogle 採用事例

イッツ・コミュニケーションズ株式会社様 法人向けネットワークプロバイダー
自社提供サービスで展開しているメールシステムのログ監視に利用。メールログからメールの不達や配信遅延を監視しアラート発報に利用。
東京電機大学様
学生向け出欠管理システムで利用。システム利用ログから不正利用を監視。学生個人情報の流出防止にも利用している。またTwitterなどで学生の行動監視の実験などに応用している。
ケーブルネットワーク C社様
自社の提供サービスに必要なネットワーク機器すべてを集中監視。顧客からの問い合わせなどに対応するためサポートなどでの情報検索に利用。
ECサイト運営 G社様
自社の提供サービスで利用。ECサイトの攻撃対策として利用。競合他社による不正データ取得を抑止。

EMLoogle 仕様・構成・機能一覧

OS:Linux OS (Ubuntu推奨)
H/W構成:ログ量により決定します。
クラスタ構成可能、VM/コンテナでの提供可能、アプリ提供可能、アプライアンス提供可能

SYSLOG直接取得、SFTPによるログ取得、ログ分割機能、高速ログ検索、高速ログインデックス、ログラベル、シグニチャ機能、メールアラート、管理者登録・認証、管理権限設定、ステータス確認、キーワード検索、日付指定検索、検索結果表示、グラフ表示、取得ポート切替、コマンドライン検索、APIコマンド、ダウンロード機能、サポートVPN機能、マルチテナント機能、機械学習アルゴリズム、ユーザー指定ラベル、データマイグレーション

EMLoogle 本体オプション構成

コンポーネント
  • 本体価格(シングルテナントライセンス価格・H/W別途)※マルチテナント価格は別途お問い合わせください
  • ログダウンロード機能(大容量ファイル一括ダウンロード機能)
  • ディスク残量表示(検知アラート機能とセットでアラート発報可能)
  • 検知アラート機能(メールサーバ機能含む)
  • 管理者登録機能(マルチレベル管理者権限設定)
  • 過去ログ一括アップロード機能(SFTPサーバ機能含む)
  • カスタマイズ検索UI(APIアクセス含む)
  • マルチポートラベル・ユーザーラベル・パターンマッチラベル
  • 動的検知オプション(アルゴリズム1つあたり。レポート機能、アナリティクスサービス含む)
  • クラスタ構成-Searcherサーバ(クラスタ一括検索機能)
  • 他社データ移行パッケージ(一括移行・データ連携)

EMLoogle for IoT

IoTデータの解析に必要なソリューション

IoT機器のデータ取得には、データ・フォーマットの整形やタイムスタンプ、送信方法に至るまで様々な労力が必要です。EMLoogleはIoT機器やセンサ類のデータを簡単に取得し解析しやすい形にするデータ・クレンジング・解析ソリューションです。

データ・フォーマットはなんでもOK

EMLoogleは機器から送られてくるデータ・フォーマットに制限はありません。テキストデータやバイナリデータなど数列・文字列であればあらゆるデータをインデックス化します。タイムスタンプが無いデータにはEMLoogleがデータ取得時に自動的にタイムスタンプを付加します。

データを解析しやすく整形

EMLoogleは取得したデータを解析しやすいフォーマットに整形する事ができます。取得時に文字列を別の文字列に変換して格納したり、データの数値によって特定の文字列を付加したりすることが可能です。

取得したデータを素早く解析

EMLoogleが取得したデータはすぐにインデックス化され、様々な切り口での検索が可能になります。検索したデータは整形されたフォーマットで高速に出力することが可能です。また各種連携機能でグラフ化や通知機能をご利用いただけます。

出力データは他のデータ解析でも利用可能

整形されたデータはCSV形式でダウンロードができ、様々なデータ解析ソリューションに渡すことが可能です。

データ量を気にしない料金設定

EMLoogleのライセンス料金はデータ流量によらない定額料金です。データ量を気にせずご利用いただけます。
TOPへ戻る