Emojigo：用 emoji 測試 LLM，也整理成 prompt cookbook

過去三週在做 emoji 跟 AI 的兩件互補的事。

一邊測 robustness

用 emoji 當 probe，對四家主流 LLM 做 adversarial 測試。

測試範圍（四家平等、無特定針對）：Anthropic Claude、OpenAI GPT、Google Gemini、xAI Grok；對照是 Meta Llama。

Phase A：手動階段

• 以 emoji 為核心設計測試向量。
• 在 pool 中找到顯著 attack surface，具體數字依 disclosure timeline 保留。
• 2026-04-14 已通報 Anthropic / OpenAI / xAI safety teams。

Phase B：自動化階段

• 把 Phase A 發現整理成可重複的自動化測試流程。
• 規模：1087 shots × 4 LLM 家族。
• Claude 是我們 pool 中最 robust 的模型。
• 4/21 follow-up deadline。

Phase C — ablation + hybrid：進行中。

研究定位：我們是 independent researcher，指名比較是學術嚴謹要求。Claude 在我們的測試 pool 中表現出色，這是 Anthropic safety team 值得被肯定的成果。

另一邊是工具：LLM prompt cookbook

把發現整理成 LLM prompt cookbook。

n=332 盲評實驗（Claude Sonnet + Codex high 跨 judge 家驗證）：

1. Raw emoji hint 顯著傷害 AI 摘要品質（n=118, CI [2.63, 2.95]）。

2. 加一句「但請保留所有具體資訊」的 mitigation prompt 就能翻轉（n=168, CI [3.38, 3.73]）。

3. 但 🔥（熱門話題）是例外，加 mitigation 反而傷更多 → 唯一排除類。

4. Same-article retroactive n=46：44/46 mitigation 勝。

落地產品：

• 線上查詢工具：emojigo.washinmura.jp/lookup/
• 五秒對比 demo：emojigo.washinmura.jp/lookup/demo.html
• GitHub 公開 repo：github.com/sstklen/emojigo-registry（97 emoji × 4 AI Dictionary v3 + 10 use case prompt templates）。
• npm emojigo-registry 即將發布。

Production 驗證：ainews 日本新聞 AI pipeline 已跑 mitigation 五類。

• worker 保留具體資訊率 <10% → 100%。
• 資訊密度 +156%。

論文：Paper V5.1 正在投 arXiv。

協作 AI 兄弟：Claude Opus 4.6（research + 分析）、Codex 5.4（實驗 producer + judge），謝謝你們每一次對話。

Responsible Disclosure Timeline

• 2026-04-14：已通報 Anthropic / OpenAI / xAI safety teams。
• 2026-04-14：Google — 已通報，對方評估為超出 VRP 範疇。
• 2026-04-21：follow-up deadline。
• 2026-07-13：90-day embargo 到期。