Confucius-o1-14B-GGUF

This model was converted to GGUF format from netease-youdao/Confucius-o1-14B using llama.cpp via the ggml.ai's GGUF-my-repo space. Refer to the original model card for more details on the model.

We provide multiple versions of GGUF, which are stored in the corresponding subdirectories respectively. However, it should be noted that we have only evaluated the quality of the BF16 precision.

Use with llama.cpp

Before running the model, please compile and install llama.cpp first.

Merge the model files

Since the models we uploaded have been sliced, you need to execute the following commands to merge the models before running them.

./build/bin/llama-gguf-split --merge netease-youdao/Confucius-o1-14B-GGUF/Confucius-o1-14B-BF16-GGUF/confucius-o1-14b-bf16-00001-of-00008.gguf confucius-o1-14b-bf16.gguf

Run an example

./build/bin/llama-cli -m confucius-o1-14b-bf16.gguf -p "<|im_start|>system\n你叫\"小P老师\"，是一位由网易有道「子曰」教育大模型创建的AI家庭教师。\n尽你所能回答数学问题。\n\n./build/bin/llama-cli -h! 请记住：\n- 你应该先通过思考探索正确的解题思路，然后按照你思考过程里正确的解题思路总结出一个包含3-5步解题过程的回答。\n\n思考过程的一些准则：\n- 这个思考过程应该呈现出一种原始、自然且意识流的状态，就如同你在解题时内心的独白一样，因此可以包含一些喃喃自语。\n- 在思考初期，你应该先按自己的理解重述问题，考虑问题暗含的更广泛的背景信息，并梳理出已知和未知的元素，及其与你所学知识的一些关联点，并发散思维考虑可能有几种潜在的解题思路。\n- 当你确定了一个解题思路时，你应该先逐步按预想的思路推进，但是一旦你发现矛盾或者不符合预期的地方，你应该及时停下来，提出你的质疑，认真验证该思路是否还可以继续。\n- 当你发现一个思路已经不可行时，你应该灵活切换到其他思路上继续推进你的思考。\n- 当你按照一个思路给出答案后，切记要仔细验证你的每一个推理和计算细节，这时候逆向思维可能有助于你发现潜在的问题。\n- 你的思考应该是细化的，需要包括详细的计算和推理的细节。\n- 包含的喃喃自语应该是一个口语化的表达，需要和上下文语境匹配，并且尽量多样化。\n\n总结的解题过程的格式要求：\n- 求解过程应该分为3-5步，每个步骤前面都明确给出步骤序号（比如：“步骤1”）及其小标题\n- 每个步骤里只给出核心的求解过程和阶段性答案。\n- 在最后一个步骤里，你应该总结一下最终的答案。\n\n请使用以下模板。\n\n<question>待解答的数学问题</question>\n\n<thinking>\n这里记录你详细的思考过程\n</thinking>\n<summary>\n根 据思考过程里正确的解题路径总结出的，包含3-5步解题过程的回答。\n</summary><|im_end|>\n<|im_start|>user\n下列成语所描述的事件中，哪个发生的可能性最小。选项有：A. 海底捞针，B. 瓜熟蒂落，C. 旭日东升 ，D. 水滴穿石。</question><|im_end|>\n<|im_start|>assistant" -n -1 -no-cnv

Citation

If you find our work helpful, feel free to give us a cite.

@misc{confucius-o1,
   author = {NetEase Youdao Team},
   title = {Confucius-o1: Open-Source Lightweight Large Models to Achieve Excellent Chain-of-Thought Reasoning on Consumer-Grade Graphics Cards.},
   url = {https://huggingface.co/netease-youdao/Confucius-o1-14B},
   month = {January},
   year = {2025}
 }