BeliefNest

BeliefNest is an open-source simulator designed to enable embodied agents to perform collaborative tasks by leveraging Theory of Mind. BeliefNest dynamically and hierarchically constructs simulators within a Minecraft environment, allowing agents to explicitly represent nested belief states about themselves and others. This enables agent control in open-domain tasks that require Theory of Mind reasoning. The simulator provides a prompt generation mechanism based on each belief state, facilitating the design and evaluation of methods for agent control utilizing large language models (LLMs).

BeliefNestは，身体化エージェントが心の理論を活用して共同行為タスクを遂行することを可能にするための，オープンソースシミュレータである．BeliefNestはMinecraft環境内に動的かつ階層的にシミュレータを生成し，エージェント自身および他者の入れ子構造の信念状態を明示的に表現する．これによりオープンドメインタスクで心の理論を用いたエージェント制御が可能となる．本シミュレータは各信念に基づくプロンプト生成機構を備えており，大規模言語モデル(LLM)を活用したエージェント制御手法の設計・検証を可能とする．

Minecraft AutoSD Plugin

This plugin is a Minecraft plugin designed to implement a real-time voice dialogue agent that integrates ASR, TTS, and LLM within a unified control loop. The agent interprets voice input, integrates it with environmental perception, and autonomously generates and executes voice responses and in-game actions. Furthermore, the plugin is designed to enable natural multimodal interaction, allowing users to experience cooperative behavior with the AI agent simply by speaking to it, without the need for manual commands. It also allows multiple agents to share information through speech and cooperatively perform tasks while dividing roles through dialogue. As a result, it becomes possible to simulate social interactions and collaborative work among embodied agents.

本プラグインは、ASR・TTS・LLM を統合したリアルタイム音声対話エージェントを、統一的な制御ループ内で実装するための Minecraft プラグインである。エージェントは音声入力を解釈し、それを環境知覚と統合したうえで、自律的に音声応答とゲーム内アクションを生成・実行する。 さらに、このプラグインは自然なマルチモーダルインタラクションを可能にする設計となっており、ユーザーは手動コマンドを使うことなく、話しかけるだけで AI エージェントとの協力的行動を体験できる。また、複数のエージェントが音声で情報を共有し、対話を通じて役割分担しながらタスクを協調的に遂行することも可能である。これにより、身体性をもつエージェント間の社会的相互作用や共同作業のシミュレーションが可能となる。