ローブナー賞：毎年開催されるチューリングテスト型チャットボット大会

形式とルール

通常、審査員は2つの相手と、互いの正体を知らされないまま対話する。一方は人間、もう一方はチャットボットである。会話はテキストのみで、長さも制限される。審査員は、どちらが人間かを見分けようとする。採点では、チャットボットがどれだけ人間だと誤認されたかで順位が付けられる。年によって時間配分、審査員数、その他の規則は変わってきたが、基本的な考え方はチューリングテストの思考実験に通じる。

歴史と賞

この催しは1990年にヒュー・ローブナーによって創設された。ローブナー賞で最初に記録された優勝者は、「Whimsical Conversation」と呼ばれる出品作だった。競技は、毎年の賞（しばしば青銅メダルと賞金を伴う）を設けてきたほか、より制約の少ない形式のチューリングテストを通過できるプログラムに与えられる、より大きな上位賞の存在も長く示してきた。その上位賞はまだ授与されておらず、年次大会はチャットボット開発を促す場として続いている。

評価と批判

ローブナー賞は会話エージェントの普及に注目を集めた一方、AIコミュニティの一部から批判も受けてきた。よく挙げられる批判は次のとおりである。

• 会話が短くゲーム性が強いため、深い理解よりも定型文や回避的な手法が有利になりやすい。
• 審査員の期待や、協力役として参加する人間の質が結果を左右しうる。
• この競技での成功は、広範で頑健な知能を必ずしも示さない。

支持者は、この大会が一般の認知を高め、言語技術の段階的な進歩を測る有用な基準になると主張する。

意義と例

ローブナー賞は機械知能の決定的な試験ではないが、アラン・チューリングの発想に着想を得た公開実験としては、今なおよく知られたものの一つである。この競技は多くの会話システムの開発と改良を促し、学術界の外でもチャットボットを広く知らしめた。基礎となる概念については、古典的なチューリングテストの議論や、チャットボットに関する一般的な資料を参照するとよい。