5.3 KiB
title
| title |
|---|
| LobeChat |
LobeChat
介绍
LobeChat是一个开源的前端项目支持多种LLM，你可以配置自己的API和模型供应商然后进行对话。
作为一点福利，我们提供了一个在线的LobeChat，你可以直接访问这里。我们配置好了多数API并且为你承担了这些费用，你只需要输入一个Access Password即可免费使用，不过我们不对此项服务的可用性做出保证。也就是说不要将重要业务依赖于此，通过逆向工程提取API盈利也是不被允许的。
Access Password
Access Password是一个用于验证身份的字符串，你可以在这里输入Access Password来使用LobeChat。Access Password是有时效性的，过期后你需要重新获取一个新的Access Password。
我并不希望过多的人拥有Access Password，特别不是学校里的人。如需获取Access Password，请发送邮件到 support@jamesflare.com，邮件标题为“LobeChat Access Password”，邮件内容请回答 NKCS / DSAS 用的校务管理系统的网址是什么，或者它的名字叫什么。除此之外你还可以向已有的同学询问，或者联系Derrick Jiang或者James Zhou，如果你能。
我们正在寻找一种更好的自动化验证方式。
可用模型
- GPT-3.5 Turbo
- GPT-4 32K
- GPT-4 Turbo
- Claude 3 Sonnet
- Claude 3 Opus
- Mixtral 8x7B
- Qwen 1.5 14B Chat
关于模型的实时可用性可以前去这里查看，里面包含了我的所有服务。
我个人推荐Claude 3 Opus，它的性能超过了GPT-4 0314仅次于GPT-4 Turbo。同时还支持多模态输入，和GPT系列不同的是，你可以在单轮对话中输入多张图片。这很有趣，比如你有数张手写的实验记录，一起上传它们，然后就可以让Claude整理数据并且撰写实验报告。如果你有多页论文，也可以一同截图上传，这对Claude来说是小菜一碟。
性能
不同模型有不同的性能，测试数据多种多样，但我更推荐LMSYS Chatbot Arena Leaderboard它基于 Elo 算法，LoL和CS2的排名也是用的这个算法，它是一个非常著名的排名算法。
但我还是希望根据你们的实际使用环境来做选择，感觉好用就好。
Content Window
每个模型有它们的Content Window，也就是能容纳的最大输入长度。如果你的输入超过了这个长度，模型会报错。
| Model Name | Content Window |
|---|---|
| GPT-3.5 Turbo | 16k tokens |
| GPT-4 32K | 32k tokens |
| GPT-4 Turbo | 128k tokens |
| Claude 3 Sonnet | 200k tokens |
| Claude 3 Opus | 200k tokens |
| Mixtral 8x7B | 32k tokens |
| Qwen 1.5 14B Chat | 32k tokens |
除此之外，我已经确认的是Claude 3 Opus的最大输出长度是4096 tokens。即模型在输出到达4096 tokens后会截断输出，不过你可以让它在下一轮对话中继续输出。
Token是一个在LLM领域常用的单位，它代表一个分词，比如sunset就是两个token（sun和set），the的话就是一个token，中文字符每个都是2 token。
Multiple models, each with different capabilities and price points. Prices can be viewed in units of either per 1M or 1K tokens. You can think of tokens as pieces of words, where 1,000 tokens is about 750 words. This paragraph is 35 tokens.
价格
虽然你无需支付成本，但是我还是希望你们了解一下这些API的价格，现阶段，它们依旧非常昂贵。如果你在未来要在自己的产品中使用，那么你需要考虑这些费用。
| Model Name | Price of Input | Price of Output |
|---|---|---|
| GPT-3.5 Turbo | $0.50 / 1M tokens | $1.50 / 1M tokens |
| GPT-4 32K | $60.00 / 1M tokens | $120.00 / 1M tokens |
| GPT-4 Turbo | $10.00 / 1M tokens | $30.00 / 1M tokens |
| Claude 3 Sonnet | $3.00 / 1M tokens | $15.00 / 1M tokens |
| Claude 3 Opus | $15.00 / 1M tokens | $75.00 / 1M tokens |
| Mixtral 8x7B | $0.60 / 1M tokens | $0.60 / 1M tokens |
| Qwen 1.5 14B Chat | $0.30 / 1M tokens | $0.30 / 1M tokens |
这里的价格是以每百万token为单位的，也就是说你的对话越长，你需要支付的费用就越高。模型并没有记忆，“记忆”是通过上下文实现的，假设你在第一轮对话中用了输入了100个token，模型生成了500个token，那么你的费用就是100个输入token和500个输出token的总和。随后你追问一个50个token的问题，模型回答了200个token，那么你的费用就是150个token的输入和700个token的输出。如果不清除多余的上下文，不仅会造成费用的浪费，还会影响模型的性能。
再来一个例子，假设你在单个请求中几乎用满了GPT-4 32K的32K Content Window，那么你的费用就差不多是两美元。一次对话就花了2美元，还不考虑输出更贵，这个价格是非常昂贵的，所以请务必注意你的输入和输出。
评论
{{< comments >}}