バーチャルキーボード
画面上に表示してマウスでクリック入力できるバーチャルキーボード。pyautoguiライブラリの活用を学びます。
1. アプリ概要
画面上に表示してマウスでクリック入力できるバーチャルキーボード。pyautoguiライブラリの活用を学びます。
このアプリは中級カテゴリに分類される実践的なGUIアプリです。使用ライブラリは tkinter(標準ライブラリ)・pyautogui で、難易度は ★★☆ です。
このアプリは「ユーティリティ」カテゴリです。小回りの効くユーティリティは Python の真骨頂で、汎用的なユーザー操作を組み合わせる発想が他のアプリにもそのまま流用できます。tkinter(標準ライブラリ)・pyautogui を活かして実装するこの構造は、他のアプリにも応用が効きます。
コードを読む前に実行することをおすすめします。動いている挙動を先に把握しておくと、解説で出てくる関数や処理がどこに対応するかが頭に入りやすくなります。
応用のヒントは、機能を 1 つ増やす・見た目を整える・例外を一つでも丁寧に扱う、のいずれかから始めるのがおすすめです。
2. 機能一覧
- ループで生成するボタン群を
_on_key()に接続 - 「📋 コピー」ボタン(
_copy_text())・「🗑 クリア」ボタン(lambda: self.output_text.delete('1.0', tk.END))で操作
3. 事前準備・環境
Python 3.10 以上 / Windows 11(実機)で起動・基本操作を確認 / Linux Mint 22.3(仮想マシン)で起動・画面表示を確認(macOS は未検証)
Windows 11(実機)で起動と基本操作を確認しています(全機能の網羅テストではありません)。Linux Mint 22.3(仮想マシン)では起動と画面表示を確認しました。macOS は必要なライブラリ(pip install)を入れれば動作する想定ですが、未検証です。
- Python 3.10 以上
- OS: Windows 11(実機で起動・基本操作を確認)・Linux Mint 22.3(仮想マシンで起動・画面表示を確認)
送信先を「フォーカス中ウィンドウ」にすると、押したキーは pyautogui を通じてほかのアプリへ本物のキー入力として送られます。試すときは「テキストエリア」を選んだままにして、パスワードの入力欄や保存していない書類を開いた状態で操作しないでください(詳しくは9章)。
4. 完全なソースコード
右上の「コピー」ボタンをクリックするとコードをクリップボードにコピーできます。
import tkinter as tk
from tkinter import ttk, messagebox
import string
try:
import pyautogui
PYAUTOGUI_AVAILABLE = True
except ImportError:
PYAUTOGUI_AVAILABLE = False
class App41:
"""バーチャルキーボード"""
# キーボードレイアウト
ROWS = [
["Esc", "F1", "F2", "F3", "F4", "F5", "F6", "F7", "F8", "F9", "F10", "F11", "F12"],
["`", "1", "2", "3", "4", "5", "6", "7", "8", "9", "0", "-", "=", "BS"],
["Tab", "q", "w", "e", "r", "t", "y", "u", "i", "o", "p", "[", "]", "\\"],
["Caps", "a", "s", "d", "f", "g", "h", "j", "k", "l", ";", "'", "Enter"],
["Shift", "z", "x", "c", "v", "b", "n", "m", ",", ".", "/", "Shift"],
["Ctrl", "Alt", "Space", "Alt", "Ctrl"],
]
SHIFTED = {
"`": "~", "1": "!", "2": "@", "3": "#", "4": "$", "5": "%",
"6": "^", "7": "&", "8": "*", "9": "(", "0": ")", "-": "_", "=": "+",
"[": "{", "]": "}", "\\": "|", ";": ":", "'": '"', ",": "<",
".": ">", "/": "?",
}
WIDE_KEYS = {"BS": 2.0, "Tab": 1.5, "Caps": 1.8, "Enter": 2.2,
"Shift": 2.5, "Space": 5.0, "Ctrl": 1.5, "Alt": 1.2,
"Esc": 1.0, "BS": 1.8}
SPECIAL_KEYS = {"BS", "Tab", "Caps", "Enter", "Shift", "Ctrl", "Alt",
"Esc", "Space", "F1", "F2", "F3", "F4", "F5", "F6",
"F7", "F8", "F9", "F10", "F11", "F12", "\\"}
KEY_COLOR = "#3c3c3c"
SPECIAL_COLOR = "#505050"
PRESSED_COLOR = "#0078d4"
def __init__(self, root):
self.root = root
self.root.title("バーチャルキーボード")
self.root.resizable(False, False)
self.root.configure(bg="#1e1e1e")
self._shift = False
self._caps = False
self._ctrl = False
self._alt = False
self._key_buttons = {}
self._build_ui()
def _build_ui(self):
header = tk.Frame(self.root, bg="#252526", pady=6)
header.pack(fill=tk.X)
tk.Label(header, text="⌨️ バーチャルキーボード",
font=("Noto Sans JP", 12, "bold"),
bg="#252526", fg="#4fc3f7").pack(side=tk.LEFT, padx=12)
if not PYAUTOGUI_AVAILABLE:
tk.Label(self.root,
text="⚠ pyautogui が未インストール (pip install pyautogui)。"
"テキストエリアへの入力モードで動作します。",
bg="#fff3cd", fg="#856404", font=("Arial", 8),
anchor="w", padx=8).pack(fill=tk.X)
# テキスト出力エリア
output_f = tk.Frame(self.root, bg="#1e1e1e")
output_f.pack(fill=tk.X, padx=8, pady=6)
tk.Label(output_f, text="入力結果:", bg="#1e1e1e", fg="#ccc",
font=("Arial", 9)).pack(anchor="w")
self.output_text = tk.Text(output_f, height=4, bg="#0d1117", fg="#c9d1d9",
font=("Courier New", 13), relief=tk.FLAT,
insertbackground="white")
sb = ttk.Scrollbar(output_f, command=self.output_text.yview)
self.output_text.configure(yscrollcommand=sb.set)
sb.pack(side=tk.RIGHT, fill=tk.Y)
self.output_text.pack(fill=tk.X)
# 操作ボタン
ctrl_f = tk.Frame(self.root, bg="#1e1e1e")
ctrl_f.pack(fill=tk.X, padx=8, pady=2)
tk.Button(ctrl_f, text="📋 コピー",
command=self._copy_text,
bg="#3c3c3c", fg="white", relief=tk.FLAT,
font=("Arial", 9), padx=8, pady=3,
activebackground="#505050", bd=0).pack(side=tk.LEFT, padx=4)
tk.Button(ctrl_f, text="🗑 クリア",
command=lambda: self.output_text.delete("1.0", tk.END),
bg="#3c3c3c", fg="white", relief=tk.FLAT,
font=("Arial", 9), padx=8, pady=3,
activebackground="#505050", bd=0).pack(side=tk.LEFT, padx=4)
# 送信先フォーカス設定
self.target_var = tk.StringVar(value="テキストエリア")
tk.Label(ctrl_f, text="送信先:", bg="#1e1e1e", fg="#ccc",
font=("Arial", 9)).pack(side=tk.LEFT, padx=(12, 4))
for val in ["テキストエリア", "フォーカス中ウィンドウ"]:
ttk.Radiobutton(ctrl_f, text=val, variable=self.target_var,
value=val).pack(side=tk.LEFT, padx=4)
# キーボード本体
kb_f = tk.Frame(self.root, bg="#1e1e1e", padx=8, pady=8)
kb_f.pack()
BASE_W = 42
BASE_H = 38
for row_idx, row in enumerate(self.ROWS):
row_f = tk.Frame(kb_f, bg="#1e1e1e")
row_f.pack(pady=2, anchor="w")
for key in row:
width_mult = self.WIDE_KEYS.get(key, 1.0)
is_special = key in self.SPECIAL_KEYS
color = self.SPECIAL_COLOR if is_special else self.KEY_COLOR
btn_w = max(1, int(width_mult * 3.5))
btn = tk.Button(row_f, text=key,
bg=color, fg="white",
relief=tk.FLAT, bd=0,
font=("Arial", 9),
width=btn_w,
height=1,
padx=2, pady=4,
activebackground=self.PRESSED_COLOR,
activeforeground="white",
command=lambda k=key: self._on_key(k))
btn.pack(side=tk.LEFT, padx=1)
if key not in self._key_buttons:
self._key_buttons[key] = []
self._key_buttons[key].append(btn)
self.status_var = tk.StringVar(value="キーをクリックして入力")
tk.Label(self.root, textvariable=self.status_var,
bg="#252526", fg="#858585", font=("Arial", 9),
anchor="w", padx=8).pack(fill=tk.X, side=tk.BOTTOM)
def _on_key(self, key):
target = self.target_var.get()
if key == "Shift":
self._shift = not self._shift
self._update_shift_display()
self._highlight_key("Shift", self._shift)
return
elif key == "Caps":
self._caps = not self._caps
self._update_shift_display()
self._highlight_key("Caps", self._caps)
return
elif key == "Ctrl":
self._ctrl = not self._ctrl
self._highlight_key("Ctrl", self._ctrl)
return
elif key == "Alt":
self._alt = not self._alt
self._highlight_key("Alt", self._alt)
return
char = self._resolve_char(key)
if target == "テキストエリア" or not PYAUTOGUI_AVAILABLE:
self._insert_to_textarea(key, char)
else:
self._send_to_focus(key, char)
# Shiftの自動解除
if self._shift:
self._shift = False
self._update_shift_display()
self._highlight_key("Shift", False)
self.status_var.set(f"押下: {key} → '{char}'")
def _resolve_char(self, key):
if key == "BS":
return ""
if key == "Enter":
return "\n"
if key == "Tab":
return "\t"
if key == "Space":
return " "
if key in self.SPECIAL_KEYS:
return ""
effective_shift = self._shift ^ self._caps
if effective_shift:
if key in self.SHIFTED:
return self.SHIFTED[key]
return key.upper()
return key.lower()
def _insert_to_textarea(self, key, char):
if key == "BS":
content = self.output_text.get("1.0", tk.END)
if len(content) > 1:
self.output_text.delete("end-2c", "end-1c")
elif char:
self.output_text.insert(tk.END, char)
self.output_text.see(tk.END)
def _send_to_focus(self, key, char):
if not PYAUTOGUI_AVAILABLE:
return
try:
if key == "BS":
pyautogui.press("backspace")
elif key == "Enter":
pyautogui.press("enter")
elif key == "Tab":
pyautogui.press("tab")
elif key == "Space":
pyautogui.press("space")
elif key == "Esc":
pyautogui.press("escape")
elif key.startswith("F") and key[1:].isdigit():
pyautogui.press(key.lower())
elif char:
pyautogui.typewrite(char, interval=0)
except Exception as e:
self.status_var.set(f"エラー: {e}")
def _update_shift_display(self):
effective_shift = self._shift ^ self._caps
for row in self.ROWS:
for key in row:
if key in self.SPECIAL_KEYS or key not in self._key_buttons:
continue
display = key
if effective_shift:
if key in self.SHIFTED:
display = self.SHIFTED[key]
else:
display = key.upper()
else:
display = key.lower()
for btn in self._key_buttons[key]:
btn.config(text=display)
def _highlight_key(self, key, active):
if key in self._key_buttons:
color = self.PRESSED_COLOR if active else self.SPECIAL_COLOR
for btn in self._key_buttons[key]:
btn.config(bg=color)
def _copy_text(self):
text = self.output_text.get("1.0", tk.END).strip()
self.root.clipboard_clear()
self.root.clipboard_append(text)
self.status_var.set("クリップボードにコピーしました")
if __name__ == "__main__":
root = tk.Tk()
app = App41(root)
root.mainloop()
5. コード解説
バーチャルキーボードのコードを、実際に書かれている実装に沿って解説します。
クラス設計とコンストラクタ
App41 クラスにアプリの全機能をまとめています(メソッド9個・全259行)。__init__ ではタイトル「バーチャルキーボード」 を設定します。あわせて状態を保持する変数(self._shift・self._caps・self._ctrl・self._alt)を初期化し、最後に _build_ui() で画面を組み立てます。
※ 該当部分のコード本体は 「4. 完全なソースコード」 をご参照ください(重複表示を避けるため再掲を省略しています)。
ウィジェット構成
画面は tk.Frame×4(ほかにループでも生成)・tk.Label×5・tk.Text・ttk.Scrollbar・tk.Button×2(ほかにループでも生成)・ttk.Radiobutton(ループで生成) で構成しています。
※ 該当部分のコード本体は 「4. 完全なソースコード」 をご参照ください(重複表示を避けるため再掲を省略しています)。
イベント処理とボタンの接続
「📋 コピー」ボタン(_copy_text())・「🗑 クリア」ボタン(lambda: self.output_text.delete('1.0', tk.END))を command= で接続しています。ボタンはループ内で command=lambda k=key: self._on_key(k) の形で生成しています。既定引数でループ変数を固定するのがポイントで、これを書かないと全ボタンが最後の値で動いてしまいます。
※ 該当部分のコード本体は 「4. 完全なソースコード」 をご参照ください(重複表示を避けるため再掲を省略しています)。
クラス定数によるデータ定義
クラスの先頭でデータを定数として定義しています:KEY_COLOR = '#3c3c3c'、SPECIAL_COLOR = '#505050'。ロジックの中に直接書かず定数にまとめておくと、内容を変えたいときに1か所を書き換えるだけで済みます。
※ 該当部分のコード本体は 「4. 完全なソースコード」 をご参照ください(重複表示を避けるため再掲を省略しています)。
例外処理
try-except で Exception・ImportError を捕捉しています。
※ 該当部分のコード本体は 「4. 完全なソースコード」 をご参照ください(重複表示を避けるため再掲を省略しています)。
6. ステップバイステップガイド
このアプリをゼロから自分で作る手順を解説します。コードをコピーするだけでなく、実際に手順を追って自分で書いてみましょう。
-
1ファイルを作成する
新しいファイルを作成して app41.py と保存します。外部ライブラリ
pyautoguiを使います。先にpip install pyautoguiを実行してください。 -
2クラスの骨格を作る
App41クラスを定義し、__init__と、末尾のroot = tk.Tk()~mainloop()の最小構成を書いて、まず空のウィンドウが出ることを確認します。 -
3ウィンドウを設定する
title("バーチャルキーボード")・configure(bg="#1e1e1e")・resizable(False, False)をコンストラクタで設定します。 -
4画面部品を並べる
_build_ui()の中で、tk.Frame×4(ほかにループでも生成)・tk.Label×5・tk.Text・ttk.Scrollbar・tk.Button×2(ほかにループでも生成)・ttk.Radiobutton(ループで生成) を作って配置します(掲載コードと同じ並び順で書くとレイアウトが一致します)。まず表示だけ確認しましょう。 -
5イベントを接続する
「2. 機能一覧」で挙げた各ボタンを
command=で対応するメソッド(_copy_text()・lambda: self.output_text.delete('1.0', tk.END))につなぎます。ループ生成のボタンはcommand=lambda k=key: self._on_key(k)の形で接続します。 -
6中心になるメソッドを実装する
アプリの本体である
_on_key()(36行)・_copy_text()(5行)・_send_to_focus()(20行) を実装します。 -
7動作確認する
python app41.pyで起動し、各ボタンが反応することを確認します。
7. カスタマイズアイデア
基本機能を習得したら、以下のカスタマイズに挑戦してみましょう。少しずつ機能を追加することで、Pythonのスキルが飛躍的に向上します。
💡 ダークモードを追加する
bg色・fg色を辞書で管理し、ボタン1つでダークモード・ライトモードを切り替えられるようにしましょう。
💡 クラス定数を書き換えて動きを変える
データはクラス定数(ROWS・SHIFTED)にまとまっています。中身を書き換えて動きが変わることを確かめましょう。複数の定数が対応関係にある場合は、セットで整合させる必要がある点に注意してください。
💡 入力履歴機能
以前の入力値を覚えておいてComboboxのドロップダウンで再選択できる履歴機能を追加しましょう。
8. よくある問題と解決法
❌ 文字のフォントが崩れる・見た目が違う
原因:このコードは font=("Noto Sans JP", ...) のようにフォント名を直接指定しています。環境にこのフォントが入っていないと、OS が代わりのフォントで表示するため、見本と見た目が変わることがあります。
解決法:動作には支障ありません。気になる場合は font 引数の名前を自分の OS に入っているフォントへ書き換えるか、font 引数を省略してください。
❌ 写経したら全部のボタンが同じ動きになる
原因:ループでボタンを作るとき、このコードは command=lambda k=key: self._on_key(k) のように既定引数でループ変数を固定しています。これを省略してループ変数を直接書くと、ループ終了後の最後の値が全ボタンで共有されてしまいます(Python のクロージャの有名な罠です)。
解決法:掲載コードのとおり、lambda の既定引数でその時点の値を渡してください。
9. 練習問題
アプリの理解を深めるための練習問題です。気になるものから挑戦してみてください(課題3は定型の発展課題です)。送信先を「フォーカス中ウィンドウ」にすると、押したキーがほかのアプリへ本物のキー入力として送られます(205-222行)。練習では「テキストエリア」を選んだままにして、パスワードの入力欄や消したくない書類を開いたまま試さないでください。「📋 コピー」はクリップボードの中身を上書きします(249-253行)。pyautogui が入っていなくても、アプリの中のテキストエリアへの入力は動きます(164行)。下の2問は、どちらも pyautogui なしで確かめられます。キーの並びは英数字と記号だけなので(16-23行)、日本語の入力には対応していません。
-
課題1:Ctrl と Alt は青く光るだけで、次に押した文字と組み合わさらない
_on_key()は Ctrl と Alt が押されると、状態を切り替えて色を変えるところで終わります(153-160行)。そこで立てたself._ctrlとself._altは、ほかのどこからも読まれていません。Shift には押したあとに戻す処理がありますが(169-173行)、この2つには何も用意されていません。期待結果:送信先を「テキストエリア」にしたまま「Ctrl」を押すと、左右2つの Ctrl キーが青くなる。続けて
cを押すと、テキストエリアにはcがそのまま入る。下のステータスは押下: c → 'c'になり、Ctrl のことはどこにも出てこない。Ctrl の青も消えないので、そのあとに押した文字も同じ扱いのままになる。直したあとは、押した組み合わせがステータスに出て色も戻る。合格条件
- Ctrl や Alt を押したあとに文字キーを押すと、ステータスに
Ctrl + cのような形で出る - 文字キーを押したあとは Ctrl と Alt の色が戻り、次の文字は組み合わせにならない
- どちらも押していないときの入力とステータスの表示は、いままでどおり
ヒント①(どこを触るか): 触るのは1か所です。
_on_key()の後半(169-175行)。
ヒント②(使うもの): Shift の自動解除が 170-173行にあり、状態をFalseに戻してから_highlight_key()を呼んでいます。Ctrl と Alt は表示の書き換えが要らないので、_highlight_key("Ctrl", False)だけで色が戻ります(243-247行)。押されていた修飾キーの名前をリストに集め、" + ".join()でつなぐとステータスの文を組み立てやすくなります。
つまずきやすい点: Ctrl と Alt のボタンは左右に1つずつあります(22行)。_key_buttonsには同じ名前で2つ入るため(131-133行)、_highlight_key()は両方の色をまとめて変えます。戻す先の色はSPECIAL_COLORです(245行)。実際にほかのアプリへ組み合わせを送る改造は、よそのウィンドウを操作することになるので今回はやめてください。 - Ctrl や Alt を押したあとに文字キーを押すと、ステータスに
-
課題2:
\キーだけ、押しても何も入力されない\は特殊キーの集まりに入っています(36-38行)。_resolve_char()は特殊キーに空文字を返すので(186-187行)、押しても文字が増えません。SHIFTEDには"\\": "|"が用意されているのに(28行)、出番のないまま残っています。期待結果:送信先を「テキストエリア」にして、
qの行の右端にある\を押す。入力結果には何も入らず、ステータスは押下: \ → ''になる。同じ行の[を押すと[が入るので、\だけが違う動きだと分かる。「Shift」を押しても\の表示は|に変わらない。直したあとは\が1文字入り、Shift のあとでは|が入る。合格条件
\を押すと入力結果に\が1文字増える- 「Shift」を押してから
\を押すと|が入り、キーの表示も|に変わる - Esc・Tab・Enter・Space・F1〜F12 の動きは、いままでどおり
ヒント①(どこを触るか): 触るのは1か所です。
SPECIAL_KEYS(36-38行)。
ヒント②(使うもの):_resolve_char()は 186-187行で「この集まりに入っていれば空文字」と決めています。SHIFTEDに相方の|が入っているので(28行)、集まりから外すだけで Shift の表示切り替え(226-241行)も動き出します。Python の文字列では\を"\\"と2文字で書きます(19行の並びも同じ書き方です)。
つまずきやすい点: 集まりから外すと、キーの色も変わります。色を決める判定が同じ集まりを見ているためです(117-118行)。色を元のままにしたいなら、118行の条件だけ別に書きます。_update_shift_display()も同じ集まりで飛ばす行を決めているので(230行)、外した瞬間から表示が Shift に追従します。 -
課題3:保存機能の追加
入力値や計算結果をファイルに保存する機能を追加しましょう。jsonやcsvモジュールを使います。
写経中に赤いエラー文が出たら、Pythonエラー一覧&解決法(英語メッセージ逆引き)で原因と直し方をすぐ確認できます。
このレベルのアプリが作れたら、入門書の次の「作るための本」へ進む時期です。実践におすすめのPython本(当サイトの参考書ランキング総合3〜4位)で自動化とコードの書き方の2冊を、その直後の用途別専門書の節でデータ分析・Web・AIの本を比較しています。