Meta Launches LLM Compiler, Aims at Code Optimization

TapTechNews6 月 28 日消息，Meta 官方在 X 平台宣布推出LLM 编译器，这是一个基于 MetaCodeLlama 构建的模型家族，具有额外的代码优化和编译器功能。这些模型可以模拟编译器，预测代码大小的最佳传递，并可反汇编代码，可以针对新的优化和编译器任务进行微调。

Meta 在 HuggingFace 上公开了 LLM 编译器的 7B 和 13B 模型，采用宽松的许可协议，允许用于研究和商业用途。

TapTechNews 附链接：https://huggingface.co/collections/facebook/llm-compiler-667c5b05557fe99a9edd25cb

研究人员在论文中表示，LLM 在各种软件工程和编码任务中展示其能力，然而在代码和编译器优化领域的应用仍然未被充分探索。为了解决这一问题，Meta 引入了 LLM 编译器，这是一个专为代码优化任务设计的预训练模型套件。

LLM 编译器模型在包含5460 亿个 LLM-IR 和汇编代码标记的庞大语料库上进行了训练，并经过指令微调以解释编译器行为，旨在为学术研究人员和行业从业者在编译器优化方面的进一步研究和开发提供一个可扩展的、具有成本效益的基础。

LLM 编译器在 code size optimization 方面取得了显著成果。在 tests（测试）中，该模型的 optimization potential（优化潜力）达到了 automatic tuning search（自动调整搜索）的 77%, which can significantly shorten the compile time（这可以显著缩短编译时间） and improve the code efficiency of various applications（提高各种应用的代码效率）.