JamesFlare/SCDocs
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

add roadmap

Browse Source
This commit is contained in:
JamesFlare1212
2024-04-13 07:02:01 -04:00
parent a806d14eb7
commit 5408adc0b9
1 changed files with 25 additions and 19 deletions
Download Patch File Download Diff File Expand all files Collapse all files

44
content.zh/docs/tools/llms/lobechat/_index.md
View File

@@ -32,25 +32,13 @@ Access Password是一个用于验证身份的字符串，你可以在[这里](ht
关于模型的实时可用性可以前去[这里](https://status.jamesflare.com/)查看，里面包含了我的所有服务。
我个人推荐Claude 3 Opus，它的性能超过了GPT-4 0314仅次于GPT-4 Turbo。同时还支持多模态输入，你可以在单轮对话中输入多张图片。这很有趣，比如你有数张手写的实验记录，一起上传它们，然后就可以让Claude整理数据并且撰写实验报告。如果你有多页论文，也可以一同截图上传，这对Claude来说是小菜一碟。
我个人推荐Claude 3 Opus，它的性能超过了GPT-4 0314仅次于GPT-4 Turbo。同时还支持多模态输入，和GPT系列不同的是，你可以在单轮对话中输入多张图片。这很有趣，比如你有数张手写的实验记录，一起上传它们，然后就可以让Claude整理数据并且撰写实验报告。如果你有多页论文，也可以一同截图上传，这对Claude来说是小菜一碟。
## 价格
## 性能
虽然你无需付钱，但是我还是希望你们了解一下这些API的价格，现阶段，它们依旧非常昂贵。如果你在未来要在自己的产品中使用，那么你需要考虑这些费用。
不同模型有不同的性能，测试数据多种多样，但我更推荐[LMSYS Chatbot Arena Leaderboard](https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard)它基于 Elo 算法，LoL和CS2的排名也是用的这个算法，它是一个非常著名的排名算法。
|Model Name|Price of Input|Price of Output|
|-|-|-|
|GPT-3.5 Turbo|$0.50 / 1M tokens|$1.50 / 1M tokens|
|GPT-4 32K|$60.00 / 1M tokens|$120.00 / 1M tokens|
|Claude 3 Opus|$15.00 / 1M tokens|$75.00 / 1M tokens|
|Mixtral 8x7B|$0.60 / 1M tokens|$0.60 / 1M tokens|
|Qwen 1.5 14B Chat|$0.30 / 1M tokens|$0.30 / 1M tokens|
Token是一个在LLM领域常用的单位，它代表一个分词，比如sunset就是两个token（sun和set），the的话就是一个token，中文字符每个都是2 token。
这里的价格是以每百万token为单位的，也就是说你的对话越长，你需要支付的费用就越高。模型并没有记忆，“记忆”是通过上下文实现的，假设你在第一轮对话中用了输入了100个token，模型生成了500个token，那么你的费用就是100个输入token和500个输出token的总和。随后你追问一个50个token的问题，模型回答了200个token，那么你的费用就是150个token的输入和700个token的输出。如果不清除多余的上下文，不仅会造成费用的浪费，还会影响模型的性能。
再来一个例子，假设你在单个请求中几乎用满了GPT-4 32K的32K Content Window，那么你的费用就差不多是两美元。一次对话就花了2美元，还不考虑输出更贵，这个价格是非常昂贵的，所以请务必注意你的输入和输出。
但我还是希望根据你们的实际使用环境来做选择，感觉好用就好。
## Content Window
@@ -64,11 +52,29 @@ Token是一个在LLM领域常用的单位，它代表一个分词，比如sunset
|Mixtral 8x7B|32k tokens|
|Qwen 1.5 14B Chat|32k tokens|
## 性能
除此之外，我已经确认的是Claude 3 Opus的最大输出长度是4096 tokens。即模型在输出到达4096 tokens后会截断输出，不过你可以让它在下一轮对话中继续输出。
不同模型有不同的性能，测试数据多种多样，但我更推荐[LMSYS Chatbot Arena Leaderboard](https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard)它基于 Elo 算法，LoL和CS2的排名也是用的这个算法，它是一个非常著名的排名算法。
Token是一个在LLM领域常用的单位，它代表一个分词，比如sunset就是两个token（sun和set），the的话就是一个token，中文字符每个都是2 token。
但我还是希望根据你们的实际使用环境来做选择，感觉好用就好。
> Multiple models, each with different capabilities and price points. Prices can be viewed in units of either per 1M or 1K tokens. You can think of tokens as pieces of words, where 1,000 tokens is about 750 words. This paragraph is 35 tokens.
>
> [OpenAI](https://openai.com/pricing)
## 价格
虽然你无需支付成本，但是我还是希望你们了解一下这些API的价格，现阶段，它们依旧非常昂贵。如果你在未来要在自己的产品中使用，那么你需要考虑这些费用。
|Model Name|Price of Input|Price of Output|
|-|-|-|
|GPT-3.5 Turbo|$0.50 / 1M tokens|$1.50 / 1M tokens|
|GPT-4 32K|$60.00 / 1M tokens|$120.00 / 1M tokens|
|Claude 3 Opus|$15.00 / 1M tokens|$75.00 / 1M tokens|
|Mixtral 8x7B|$0.60 / 1M tokens|$0.60 / 1M tokens|
|Qwen 1.5 14B Chat|$0.30 / 1M tokens|$0.30 / 1M tokens|
这里的价格是以每百万token为单位的，也就是说你的对话越长，你需要支付的费用就越高。模型并没有记忆，“记忆”是通过上下文实现的，假设你在第一轮对话中用了输入了100个token，模型生成了500个token，那么你的费用就是100个输入token和500个输出token的总和。随后你追问一个50个token的问题，模型回答了200个token，那么你的费用就是150个token的输入和700个token的输出。如果不清除多余的上下文，不仅会造成费用的浪费，还会影响模型的性能。
再来一个例子，假设你在单个请求中几乎用满了GPT-4 32K的32K Content Window，那么你的费用就差不多是两美元。一次对话就花了2美元，还不考虑输出更贵，这个价格是非常昂贵的，所以请务必注意你的输入和输出。
## 评论