2004年度計算数学II レゴ班

夏学期からの変更点

• カメラドライバ（treva.o）、カメラCGI（trejpg-cgi）、コマンド中継プログラムはL-Cardの/usr/bin/に書き込まれていて、ドライバのインストールやCGIの準備は起動処理スクリプト（/etc/init.d/rcS）で処理
• myir-crossはセッション（ソケットコミュニケーションのaccept〜相手によるclose）を5回繰り返す

LEGAudio.app

• LEGAudioController.h
• LEGAudioControllermh
• AudioAnalyzer.h
• AudioAnalyzer.m

動作

• 指定されたL-Cardのアドレスにアクセス
• ロボット操作用のボタンを提供
  • ロボット制御コマンドの生成・送信
• カメラ画像の表示と更新
• 音声認識によるコマンド入力
  ユーザが英単語を発話することでロボットを操作できるようにします。
  各音階（A, B, C, D, E, F, G）に対して特定のコマンドを割り当て、楽器などでロボットを操作できるようにします。

実装

LEGAudioControllerクラス

• L-Cardへのアクセス
  • Mindstormsコマンド
    • ポート（#1234）の管理
    • コマンド文字列の決定
  • カメラ画像
    • カメラ画像をL-Cardから取得
    • 画像を定期的に更新
• 音声認識
  • Speech Recoginition
    コマンド英単語をシステムに登録し、認識されたコマンドを処理する
    これはOSXに用意されているライブラリ（関数たち）を使って簡単に実装できます。認識させたい単語（英語）たちと、認識されたコマンドを処理するオブジェクトをシステムに登録することで、システムが認識した単語に応じたコマンドメッセージをL-Cardに送ることができます。
    具体的にはCocoaフレームワークのNSSpeechRecognizerクラスを使用します。このクラスのインスタンスはシステムの発話コマンド認識部分を体現しています。speechRecogがNSSpeechRecognizerオブジェクトだとして、
    [speechRecog setCommands:[NSArray arrayWithObjects:@"Access", @"Run", @"Left", @"Right", @"Stop", nil]];
    でコマンド"Access", "Run", "Left", "Right", "Stop"を登録し、
    [speechRecog setDelegate:self];
    でそれらを処理するオブジェクトがselfであることの登録ができます。
    [speechRecog startListening];
    で音声認識を開始すれば、システムがユーザーの発話を認識したとき（ setDelegate で設定した）selfの
    - (void)speechRecognizer:(NSSpeechRecognizer *)sender didRecognizeCommand:(id)aCmd
    メソッドが呼ばれます。aCmdが認識されたコマンドの文字列を表すNSStringオブジェクトです。
  • 音程コマンド
    • AudioAnalyzerインスタンスを保持
    • 音程認識の開始・停止

AudioAnalyzerクラス

• マイクデータ取得
• 周波数解析・支配的な音階の推定
  Mac OSXにはG4/G5プロセッサの能力をフルに生かして高速フーリエ変換（FFT）ができるライブラリvDSPが用意されています。これを利用して、マイクで拾った音を逐次周波数解析することができます。 時系列データをフーリエ変換して周波数データを取り出し。どの音階が支配的か判定し、支配的な音程に応じたコマンドメッセージをL-Cardに送ることにします。
  マイクのデータは44.1kHzきざみで浮動小数点数値が並んだものとして与えられます。 これを3個飛ばしに2の12乗サンプル（約0.4秒分）記録して、それを離散フーリエ解析します。そうすると約2.5Hzきざみの周波数データ配列が得られることになります。標準から1オクターブ下のe（164Hz）とf（174Hz）の差が10Hzなのでこれぐらいのきざみ幅がよいでしょう。
  次に、こうして得られた周波数データからそれぞれの音階の成分を取り出します。音程が1オクターブ上がると周波数は2倍になる、ということを反映させるため、周波数成分の番号づけに周波数値freqそのものではなく、2を底としたfreqの対数log2freqをとったものを使うことにします。こうすればlog2freqの値の整数部分の違いがオクターブの違いになって、小数部分がオクターブの中の各音階に対応することになります。 このグラフはq = 100 log₂ freq (mod 100)についてのプロットです。とくに、各音階に対応する所だけ取り出せば となります。20のところがD、60のところがG、80のところがAに対応しています。

注意

• CoreAudioやvDSPについてはDeveloper Toolsに最初からついてくるドキュメントでは不十分です。Apple Developer Connections (ADC)からSDKをダウンロードしてください。ADCからのダウンロードは登録（無料）が必要です。
• 特に、フーリエ変換を提供しているvDSPライブラリは複素数（の配列）をCOMPLEXやCOMPLEX_SPLITという独自のデータ型によって取り扱うことに注意してください。

TCP/IPパケット中継

改善してほしいこと

• L-Cardに電源スイッチがない
  今は電池ケースにL-Cardの電源線をつなぐと電源投入されます。 今のままだと電源線のところがとても危なっかしいので、3Pスイッチでも何でもいいから電源スイッチをつけておいてください。
• レゴロボットのスペックをあげる余地がある
  今はモーターひとつを回転させるかどうかと回転の方向を制御しているだけで、LEGO Mindstormsの仕様（モーター三つにセンサー三つまで）を全然生かしていません。L-CardもMindstormsユニットの上においているだけなのでしっかり固定するようにしてください。赤外LEDやTrevaカメラがL-Cardの基盤に直接生えている今の状態ではL-CardとMindstromsユニットの位置関係が制約をうけています。これらをL-Cardの基盤から離せるようにすればレイアウトの自由度が増すでしょう。
• 赤外通信の双方向化
  今の所L-CardとMindstormsの間の赤外通信はL-CardからMindstormsへの一方向だけです。赤外信号受信ICをシリアル受信端子の先につけておいたのでうまくいけばL-CardがわのLinuxプログラミングだけでMindstormsからのメッセージを受け取れるようになるでしょう。
• L-Cardの無線LANカードドライバの不良
  ARPプロセスにおいてMACアドレスを通知するパケットが正しい形で作られていません。wvlan_cs以外の無線カードドライバが使えるかどうか試してみてください。特に、L-Cardのメーリングリスト（成松さんのページからたどれます）が参考になるでしょう。
• LEGAudio.appから無線経由でL-Cardに接続していてしばらくそのままにしておくと通信できなくなってしまう（コマンドポート）
  カメラ画像（HTTPポート）は更新され続けるので、一定時間通信がないとソケットが閉じられてしまうということかもしれません。タイムアウトを指定するパラメータがあるかどうか調べてみてください。ダミーパケットを定期的に送って接続を維持することができるかもしれません。
• JAVAアップレットやLEGAudio.appのボタン名称とロボットの動作が一致していない
• L-CardのMindstormsコマンドポート（#1234）を開設して赤外LEDを光らせるプログラム（myir-cross）が自動で起動するようにしてほしい
  今は手動で起動している状態です。コマンドポートが利用不可になってしまう問題（上述）が改善されたらL-Cardは電源ON/OFF以外のことは必要なくなるでしょう。今のmyir-crossは5セッション後に終了するようになっているのでそこは無限ループになるようにしてください。/etc/init.d/rcSにmyir-crossを起動するスクリプトを追加すればいいと思います。
• 音程認識の改善
  周波数成分の配列から支配的な音階を推定するためにAudioAnalyzerが実装しているアルゴリズムは、とりあえず何も調べずに書いてしまったシンプルなものです。信号解析の標準的な方法を調べて適用してみると改善できるかもしれません。
• 現在音声認識は英単語しか認識させられないので、日本語も認識させるようにする