[:en]Interaction Mining[:ja]インタラクションマイニング[:]

[:en]We are developing a method for extraction of sequential pattern of nonverbal behaviors in the context of multiparty conversation for extracting machine-readable interaction protocols that we unconsciously use in our daily conversations. We have build interaction corpora containing multi-viewpoint videos, voice sound, motion data, and eye tracking data of each participant to the conversation as well as interaction primitives articulated from the above data, i.e., turn taking of speech, back-channel feedback, head nodding, viewpoint movement, pointing gesture, etc. In our interaction mining method, the sequential patterns of these nonverbal behaviors are represented in N-gram (Fig.1). In the N-gram representation, we could find characteristic patterns depending on individual conversational situations such as turn-taking mechanisms among the participants of poster presentation.

Fig.1: An example of sequential pattern of nonverbal behaviors shown as N-gram representation.[:ja]インタラクションマイニングは,

  • 参加者の一人が指差しを行った
  • 参加者の一人が発話した後,別の参加者がが発話者を見た

といった会話状態と遷移に着目し,遷移の出現回数の偏りから会話構造を検証する手法である.
インタラクションマイニングは通常のデータマイニングと同様以下のような流れで行われる.

  1. データ収集
    人がインタラクションを行っている様子を様々なセンサ・ビデオカメラ・マイクなどで収録し,基礎データとして蓄積する.
  2. データの前処理
    収録された基礎データに分析者が前処理をほどこし,インタラクションステート列の形に変換する.
  3. モデル化
    変換済みのデータを木構造化し発現遷移に偏りがある部分を抽出する.まず前処理で得られたインタラクションステート列を一定の深さで切り分け,木構造によって構造化する.これによって,それぞれのインタラクションステートごとに木構造およびそれぞれの構造の出現回数を得ることができる.その後,「インタラクションステートの遷移において,被験者間の偏りは存在しない」という帰無仮説を基にχ2 検定を行い,仮説が棄却される木構造を抽出する.これによって抽出された木構造が,会話的インタラクションにおける特徴的な構造となる.
  4. 結果の検証
    得られた結果を評価・解釈し,データマイニング全体の結果を検証する.

模擬的なポスターセッションで採取されたインタラクションコーパスで最も多く出現した(出現回数972 回)インタラクションステートを頂点とする構造を図1に示す.このインタラクションステートは,「3 人がボードを注視し,かつそのうちの一人が発話中である」という状態である.図1では発現頻度に有意差が見られた構造,およびそれに関連する構造のみを記述し,他は省略してある.矢印の側の数字はそれぞれの遷移の回数を表している.

図1:模擬ポスター会話において最頻インタラクションステートを基点とした構造.1-A,1-B は,いずれも被験者の視線の遷移に関する特徴的な構造である.2-A,2-B,2-C は,いずれも発話と指差しの関係についての構造である.3-A,3-B,3-C は,いずれも2 人が同時発話を行ったときの発話の遷移に関わる構造である.

参考文献

[1] 中田 篤志, 角 康之, 西田 豊明:非言語行動の出現パターンによる会話構造抽出, 電子情報通信学会論文誌, Vol.J94-D, No.1, pp.113-123, 2011年1月.

[:]