Files
Obsidian/Record/DL/LLM.md
2024-09-29 17:23:51 +08:00

380 B
Raw Blame History

常见超参

  • temperature 用于控制 LLM 输出的随机度。高热度更有创造性/难以预测,低热度则更为保守。
  • Top-K 即核心采样(nucleus smapling)也是用处控制输出随机性的超参数。它设定了一个概率阈值LLM 会选取累计概率超过该阈值的最佳词汇,然后 LLM 从这组词汇中随机抽取以生成输出。