Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

refactor: 汉化prompt,减少gpt生成回复的冲突 #21

Closed
wants to merge 0 commits into from

Conversation

g1331
Copy link
Contributor

@g1331 g1331 commented Apr 23, 2023

Background

由于一些内置的prompt会导致生成的回复不符合system prompt的格式,由此汉化了prompt。(#11)
需要更多的测试反馈来获得汉化/英文版本哪个更好(?)

Changes

  • system prompt的汉化
  • 指令参数的汉化添加
  • 添加了一个assistant_reply_json的error输出检查,在解析为json失败的情况下会把原始信息和修复后的信息输出()

Test Plan

  1. 在主题为“生成一份关于b站的简讯”的任务上用英文ai setting和汉字的setting执行进行对照
    设置如下:
ai_goals:
- 获取b站的信息
- 生成报告
- 停止程序
ai_name: 哔哩哔哩-1-gpt
ai_role: 生成一份关于b站的简讯
ai_goals:
- Get the information of Bilibili website
- Generate a report
- Stop procedure
ai_name: bilibili-1-gpt
ai_role: Generate a brief message about Bilibili
  • 汉字的设置下使用约6步完成了任务,没有发生死循环的现象,在使用搜索引擎时的关键词为中文,生成的结果为中文。
    结果:
    B站是一个综合性的视频分享网站,提供多种内容,包括番剧、电影、国创、电视剧、综艺、纪录片、动画、游戏、音乐、舞蹈、知识科技、资讯、美食、生活、汽车、时尚、运动、动物圈、VLOG、搞笑、单机游戏、虚拟UP主、公益、公开课等。用户可以通过登录B站观看高清视频、多端同步播放、记录观看历史、发表弹幕/评论、收藏、投稿等功能。B站还提供直播、赛事、活动、课堂、社区等服务。
  • 英文的设置下使用约6步完成了任务,没有发生死循环的现象,在使用搜索引擎时的关键词一开始为英文后来改为中文,生成的结果为中文。
    结果:
    Bilibili网站上有番剧、直播、游戏中心、会员购、漫画、赛事、下载客户端、登录、免费观看高清视频、多端同步播放记录、发表弹幕/评论、大会员、消息动态、收藏历史、创作中心、投稿动态、热门频道、电影、国创、电视剧、综艺、纪录片、动画、游戏、鬼畜、音乐、舞蹈、影视娱乐、知识科技、资讯、美食、生活、汽车、时尚、运动、动物圈、VLOG、搞笑、单机游戏、虚拟UP主、公益、公开课、专栏、直播活动、课堂、社区中心、新歌热榜、汽车时尚运动动物圈VLOG搞笑单机游戏虚拟UP主公益公开课、正在直播的KPL比赛、游戏内效果展示视频、深渊挑战、短视频发布会等。

2.在让gpt获取关于chatgpt的信息时会发生死循环
具体表现为autogpt使用内置的gpt代理:

  • 列出代理
  • 询问代理
  • key出错
    然后不断循环

@g1331
Copy link
Contributor Author

g1331 commented Apr 23, 2023

携带了一个错误的issue(

@kaqijiang
Copy link
Owner

可以多测试一下,我还是觉得英文prompt能回复准确率高一些。

@g1331
Copy link
Contributor Author

g1331 commented Apr 24, 2023

可以多测试一下,我还是觉得英文prompt能回复准确率高一些。

经过测试,直接修改triggering_prompt效果更好😀,并且带机翻味道的中文prompt似乎更准确(- - )

@kaqijiang
Copy link
Owner

有冲突处理下

@g1331
Copy link
Contributor Author

g1331 commented Apr 24, 2023

坏,链接跳转手滑就点错了😥

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

2 participants