V
AI-Waifu-Vtuber 詳細
AI VTuberツール比較
ストリーミング特化 / VTubeStudio連携

AI-Waifu-Vtuber

YouTube / Twitch配信に特化したAI Waifu VTuber。Whisper STT・DeepL翻訳・VTubeStudio連携を組み合わせた多言語対応のストリーミングシステム。

著
ardha27
作者
P
Python
言語
S
YouTube / Twitch
対応プラットフォーム
GitHub で見る →
概概要

AI-Waifu-Vtuber（ardha27/AI-Waifu-Vtuber）は、YouTube・Twitch配信に特化したAI VTuberシステムです。Whisperによる音声認識、OpenAI GPTによる会話生成、DeepLによる多言語翻訳、VoiceVoxによる音声合成、VTubeStudioとのアバター連携を統合しています。

Pythonで実装されており、Twitchのライブチャット読み取りやYouTubeコメント受信に対応。視聴者のコメントをAIが読み取り、多言語で返答しながらVTubeStudioのアバターが口パクするストリーミング体験を実現します。

Python Whisper STT VoiceVox TTS DeepL翻訳 VTubeStudio連携 ストリーミング特化 OpenAI GPT
特特徴
V
VTubeStudio連携
VTubeStudio APIを通じてアバターの口パク・表情を制御。2Dアバターが音声に合わせてリアルタイムに動く。
S
Whisper音声認識（STT）
OpenAIのWhisperモデルによる高精度な音声認識。複数言語の入力をリアルタイムにテキスト変換。
D
DeepL多言語翻訳
DeepL APIを活用し、視聴者コメントや返答を複数言語に翻訳。グローバルな視聴者との交流が可能。
T
YouTube / Twitch配信対応
YouTubeライブとTwitchの両方に対応。チャットコメントをリアルタイムで読み取り、AIが自動返答。
G
OpenAI GPTベース会話
GPT-3.5 / GPT-4を使用した自然な会話生成。キャラクターの性格・設定をシステムプロンプトでカスタマイズ可能。
音
VoiceVox音声合成（TTS）
無料の日本語TTSエンジンVoiceVoxで高品質な音声を生成。キャラクターに合わせた声質を選択できる。
比メリット・デメリット
メリット
  • YouTube・Twitch両対応でストリーミングに特化
  • DeepLによる多言語対応でグローバル配信が可能
  • VTubeStudio連携でアバターの口パク・表情が動く
  • VoiceVoxは無料で高品質な日本語音声を生成
  • Pythonで構築されており構造がシンプルで読みやすい
デメリット
  • OpenAI APIキーが必須（有料）
  • ドキュメントが英語中心で日本語情報が少ない
  • 更新頻度が低め（メンテナンスが不定期）
  • DeepL APIも無料枠に上限あり（月50万文字）
  • Windows推奨環境（他OS対応は要自力設定）
要システム要件
項目要件・推奨値
OSWindows推奨。macOS / Linuxも動作するが設定が必要になる場合あり。
PythonPython 3.9以上推奨。
GPUWhisperをGPUで動かす場合はNVIDIA CUDAが必要。CPU動作も可能だが低速。
VTubeStudioアバター連携に必要。Steam版またはiOS / Android版。APIの有効化が必要。
VoiceVox音声合成用に別途起動が必要（無料）。公式サイトからダウンロード。
APIキーOpenAI APIキー（必須）、DeepL APIキー（翻訳機能使用時）。
料料金・コスト
最小構成
~¥800
/ 月（$5程度）
GPT-3.5-turbo使用・週2〜3回配信程度。VoiceVoxは無料。DeepL無料枠内で運用可能。
本格運用
~¥5,000
/ 月（$35程度）
GPT-4使用・毎日配信・コメント返答100%。DeepL有料プランが必要になる場合あり。
ツール本体
無料
オープンソース
ツール自体は完全無料。コストはOpenAI API・DeepL APIの従量課金のみ。
注意: OpenAI APIキーが必須です。DeepL APIは無料枠（月50万文字）を超えると課金が発生します。VoiceVoxとツール本体は無料で利用できます。
導導入手順
1
リポジトリのクローンと依存パッケージのインストール
GitHubからソースを取得し、必要なPythonパッケージをインストールします。
git clone https://github.com/ardha27/AI-Waifu-Vtuber.git cd AI-Waifu-Vtuber pip install -r requirements.txt
2
キャラクター設定の編集
キャラクターの名前・性格・システムプロンプトを設定ファイルで編集します。
# character_settings.py または設定ファイルを編集 # キャラクター名・性格・システムプロンプトを定義 # VoiceVoxの話者IDも設定する
3
Twitch用トークンとAPIキーの設定
OpenAI APIキー・DeepL APIキー・TwitchのOAuthトークンを設定します。
# .env または設定ファイルに以下を記入 OPENAI_API_KEY=sk-xxxxx DEEPL_API_KEY=xxxxx TWITCH_TOKEN=oauth:xxxxx TWITCH_CHANNEL=your_channel_name
4
VoiceVox・VTubeStudioを起動
音声合成用のVoiceVoxとアバター制御用のVTubeStudioをあらかじめ起動しておきます。VTubeStudioのAPI連携を有効にしてください。
# VoiceVox: 公式サイトからダウンロードして起動（デフォルトポート: 50021） # VTubeStudio: 設定 → APIを有効化 → 認証トークンを取得
5
main.py を実行して配信開始
すべての設定が完了したらメインスクリプトを起動します。Twitchチャットのコメントをリアルタイムで処理し始めます。
python main.py
対こんな人におすすめ / おすすめしない人
おすすめの人
  • YouTube・Twitch配信を中心に活動したい人
  • 多言語対応でグローバルな視聴者と交流したい人
  • VTubeStudioを既に使っていてアバター連携したい人
  • Pythonがある程度読めて自分でカスタマイズしたい人
  • シンプルな構成でストリーミング用AIを構築したい中級者
おすすめしない人
  • OpenAI API費用を完全にゼロにしたい人
  • 最新機能・活発なアップデートを求める人
  • プログラミング経験がなく設定が難しいと感じる初心者
  • VRM / 3Dアバターを使いたい人（VTubeStudio = 2D中心）