Phi-3 - 微软最新推出的新一代小模型系列

Phi-3是什么

Phi-3是微软研究院推出的新一代系列先进的小语言模型，包括phi-3-mini、phi-3-small和phi-3-medium三个不同规模的版本。这些模型在保持较小的参数规模的同时，通过精心设计的训练数据集和优化的算法，实现了与大型模型相媲美的语言理解和推理能力。特别是phi-3-mini模型，仅3.8亿参数，却能在多项基准测试中超越参数量更大的模型，并且由于其小巧的体积，甚至可以在智能手机上运行。Phi-3系列模型的研发，展示了在数据工程和模型优化方面的最新进展，为未来小型化、高效能AI模型的发展提供了新的可能性。

技术报告：https://arxiv.org/abs/2404.14219

Hugging Face Phi-3模型地址：https://huggingface.co/collections/microsoft/phi-3-6626e15e9585a200d2d761e3

Ollama Phi-3模型地址：https://ollama.com/library/phi3

Phi-3的模型系列

• phi-3-mini：最小的语言模型，拥有3.8亿参数。尽管体积小巧，但它在多项语言理解任务上的基准测试表现却能与参数量更大的模型如Mixtral 8x7B和GPT-3.5相媲美。它的设计允许在手机上部署，且在iPhone 14 Pro和iPhone 15使用的A16芯片上能够达到每秒12个token的处理速度。
• phi-3-small：该模型的参数量为7亿，它使用了tiktoken分词器以支持多语言，并额外增加了10%的多语种数据。phi-3-small在MMLU测试中的得分为75.3%，表现出色，超越了Meta最近发布的Llama 3 8B Instruct模型。
• phi-3-medium：拥有14亿参数的中型模型，在更多数据上进行了训练，并且在多数测试中超越了GPT-3.5和Mixtral 8x7b MoE。该模型在MMLU测试中的得分达到78.2%，显示了其强大的语言处理能力。

Phi-3的训练方法

• 高质量数据集：Phi-3模型的训练使用了3.3万亿至4.8万亿tokens的大规模数据集，这些数据集经过了严格的筛选和过滤，以确保数据的教育水平和质量。
• 合成数据生成：利用大型语言模型（LLM）生成合成数据，这些合成数据用于教授模型逻辑推理和多种专业技能。
• 分阶段训练：训练过程分为两个阶段，第一阶段主要使用网络数据，目的是让模型掌握通用知识和语言理解；第二阶段则进一步筛选网络数据，并结合合成数据进行训练。
• 数据优化：训练数据被校准以接近“数据最优”状态，这意味着在数据选择上，会优先考虑能够提升模型推理能力的网页数据。
• 后训练优化：模型在预训练之后，还经过了监督指令微调和偏好调整（DPO），以及红队测试和自动化测试，以提高模型的安全性、鲁棒性和对话格式的适应性。
• 安全性和对齐：Phi-3-mini的开发遵循了微软的负责任AI原则，通过后训练阶段的安全性对齐，使用帮助性和无害性偏好数据集进行训练，并通过独立红队的迭代审查来进一步识别改进领域。
• 量化处理：为了使模型能够在手机上运行，Phi-3-Mini可以进行4-bit量化，显著减少了模型的内存占用。
• 多语言支持：尽管Phi-3-Mini主要针对英语，但微软也在探索小型语言模型的多语言能力，Phi-3-Small模型就通过包含更多的多语言数据进行了训练。

Phi-3的性能表现

• 基准测试得分：phi-3-mini 在MMLU（Massive Multitask Language Understanding）基准测试中得分为69%，在MT-bench上得分为8.38。phi-3-small 和 phi-3-medium 分别在MMLU上取得了75.3%和78.2%的得分，显示了模型规模增长带来的性能提升。
  
• 性能对比其他模型：Phi-3系列在性能上与参数量更大的模型如Mixtral 8x7B和GPT-3.5相媲美。特别是phi-3-mini，尽管只有3.8亿参数，却在多项基准测试中超过了8B参数的Llama 3。在与Meta的Llama-3-8B-Instruct模型的对比中，phi-3-small（7B参数）在MMLU上得分更高（75.3% vs 66%），显示了Phi-3系列在较小模型尺寸下的性能优势。
  
  
• 移动设备上的运行：phi-3-mini 特别设计为能够在移动设备上运行，经过4-bit量化后，能够在iPhone 14 Pro和iPhone 15使用的A16芯片上达到每秒12个token的速度，这在之前的大型模型中是难以实现的。
  
• 多语言能力：phi-3-small 通过使用tiktoken分词器和增加10%的多语种数据，增强了模型的多语言处理能力，这在对比中是一个重要的优势。

Phi-3的局限与不足

• 知识存储限制：由于模型大小的限制，特别是phi-3-mini，它在存储大量事实知识方面的能力有限，这在需要广泛背景知识的测试中表现得尤为明显，例如在TriviaQA测试中的低分表现。
• 对搜索功能的依赖：为了缓解知识存储的限制，微软提出可以通过与搜索引擎的结合来增强模型的性能。这表明在没有外部搜索支持的情况下，模型可能无法独立提供最佳的答案或信息。
• 多语言能力的限制：尽管phi-3-small通过增加多语言数据进行了优化，但Phi-3系列模型的主要语言能力仍然主要集中在英语上。对于需要广泛多语言支持的应用场景，这可能是一个限制。
• 特定任务的性能：在某些特定的任务或数据集上，Phi-3模型可能还没有达到最佳性能，这可能需要进一步的训练数据优化和模型调整。
• 安全性挑战：尽管模型在安全性方面进行了优化，但像大多数大型语言模型一样，Phi-3系列模型可能仍然存在产生幻觉、不适当内容、偏见放大或安全性问题的挑战。
• 硬件部署限制：虽然Phi-3-Mini能够在智能手机上运行，但对于一些需要极高计算资源的任务，即使是小型化的模型也可能面临硬件性能的限制。