vault backup: 2024-09-29 17:23:51

Record/DL/LLM.md

@@ -0,0 +1,5 @@
+## 常见超参
+- temperature
+	用于控制 LLM 输出的随机度。高热度更有创造性/难以预测，低热度则更为保守。
+- Top-K
+	即核心采样(nucleus smapling)，也是用处控制输出随机性的超参数。它设定了一个概率阈值，LLM 会选取累计概率超过该阈值的最佳词汇，然后 LLM 从这组词汇中随机抽取以生成输出。