Which Algorithm Specification Formats Help Language Models Implement Machine Learning Algorithms?

Masahiro Kato and Taka Kato。2026年。プレプリント（arXiv:2607.03158）。 English

研究論文からアルゴリズムを実装するとき、LLM の正確さは仕様の書き方にどれだけ左右されるのか。この研究は、同じ機械学習アルゴリズムを7種類の形式で記述し、LLM が一度で正しく実装できるかを4,020件の生成実装で測りました。文書やアルゴリズムを AI が再利用できる形に整える AI-Ready の方針に、実験的な根拠を与える研究です。

研究が扱う問題

LLM に論文の手法を実装させる利用は広がっていますが、論文の記述は実装上の選択を暗黙のままにしていることが多く、生成された実装は細部で誤ります。仕様を散文で書くか、疑似コードで書くか、構造化された形式で書くかによって結果がどう変わるのかは、これまで体系的に測られていませんでした。

提案した方法

同じアルゴリズムの仕様を、通常の散文、2種類の疑似コード（LaTeX の algorithm 環境風と、PDF から抽出したような体裁）、Markdown の項目立て、YAML 風と JSON 風、そして Python の雛形コードの7形式で用意しました。5つの機械学習タスクと3種類のモデル、情報量の異なる4つの実験設定を組み合わせ、4,020件の実装を生成させます。評価には、同値な入力の順序や配列の形、数値の扱いの規則、返り値の構造、不正な入力への挙動といった、正しさを分ける細部を突く非公開テストを使いました。

主な結果と成立条件

実装に必要な情報の一部だけを与えた設定では、記述形式の影響が大きく出ました。平均的な効果は LaTeX の algorithm 環境風の疑似コードが最も高く、YAML 風の仕様と散文がそれに続きました。一方、必要な情報を揃えた設定では、GPT-5.4 mini では形式による差が消え、Gemma 3 4B や Llama 3.2 3B といった小さいモデルには差が残りました。関数シグネチャを与える雛形コードは、一貫した改善につながりませんでした。結果は、形式の見た目よりも、実装を決める情報が書かれているかどうかが本質であることを示しています。対象は関数規模の機械学習アルゴリズム5種と特定のモデル群であり、大規模なシステム実装への一般化はこの実験からは主張できません。

先行研究との関係

LLM によるコード生成の評価は、Chen らによる関数実装の評価（2021年、Evaluating Large Language Models Trained on Code）や Austin らのプログラム合成の研究（2021年、Program Synthesis with Large Language Models）が土台を作りました。プロンプトの体裁が性能を変えることは Sclar らが示しています（2023年、Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design）。この研究は、評価の対象を機械学習アルゴリズムの仕様書に定め、体裁の違いと情報量の違いを分けて測った点で、これらの研究を補います。

利用できる状況

研究部門の手法を AI に実装させたい、社内のアルゴリズムやモデルの仕様書を AI が誤解しない形で整備したい、という場面で、どの情報を明示すべきかの指針になります。文書整備の全体像はAIのためのナレッジ基盤のページで説明しています。

論文と資料

BibTeX

@misc{algorithm-specification-formats-llm,
  author       = {Masahiro Kato and Taka Kato},
  title        = {Which Algorithm Specification Formats Help Language Models Implement Machine Learning Algorithms?},
  year         = {2026},
  eprint       = {2607.03158},
  archivePrefix = {arXiv},
  url          = {https://arxiv.org/abs/2607.03158},
}