映像OCR・配信オーバーレイ

映像の必要な場所を、読める文字へ。

動画配信を再生しているウィンドウなどから映像を取り込み、読み取りたい範囲を画面上で指定。操作ボタンやショートカットを起点に、その時点の画像をOCRへ送り、返ってきた文字を配信用ウィンドウへ反映します。

範囲の作成・移動・サイズ変更に加え、表示上の座標を元映像の解像度へ変換。小さな文字の拡大、グレースケール化、輪郭の強調、複数範囲の結合を行い、API経由で文字認識につなぎます。

• 画面・ウィンドウの選択と、複数の読み取り範囲の編集
• 文字に合わせた画像前処理の切り替え、縦・横方向の画像結合
• キャプチャ履歴の閲覧と、送信・認識結果の確認
• ElectronのIPCとWebSocketによる表示ウィンドウへの連携

情報の種類に合わせて、見せ方を切り替える。

読み取った文字を表示するカードに加え、大会APIの集計データから総合順位・ミニ順位表・試合結果・採点ルール・参加者一覧を表示。総得点だけでなく、順位点と撃破点の内訳、順位の変動も伝える構成です。

OCRの文字情報と、大会データから作るサマリーはそれぞれの入力経路で扱います。運営者が必要な情報を選び、配信の進行に合わせて画面を切り替えられます。

文字、余白、動きまで、配信の画面に合わせる。

配色テーマ、本文と数字のフォント・太さ、パネルの幅・高さ・倍率・表示行数を調整できます。OCRカードには縦型と横型を用意し、位置・文字サイズ・表示時間も設定できるようにしています。

パネルのフェードに続いて順位の行を順に表示し、参加者名の切り替えにはクロスフェードを使用。情報が現れる順序と読みやすさを考えて、表示の動きを組み立てています。

• 配信ソフトとの合成に使うクロマキー背景、セーフエリア
• 操作パネルの移動・非表示、キーボードによる画面・ページ切り替え
• 表示設定の保存、パネルごとのレイアウト調整

最新のデータと、今見せている画面を分ける。

配信中の順位表が、受信のたびに突然並び替わらないように、最新データと表示用のコピーを分離。表示を開き直すときや運営者が更新したときに、見せる内容を反映する設計です。

再取得の重複をまとめ、取得処理の一部が失敗しても直前のデータを維持。WebSocketの再接続と、接続できない間の定期取得も実装しています。映像入力・認識処理・通信・表示制御をまたぐ設計と改善の事例です。