开悟初赛笔记-奖励设计篇其实对于这种走迷宫找宝箱到终点的奖励设计,前面很多的大佬都已经发过很多相关的了。
我这边的话主要说下关于初赛奖励设计需要特别注意的地方,就是extra_info不能用作特征处理,但是可以用在奖励设计!
但是官方默认的代码会导致在评估的时候也调用了奖励处理的函数,所以你在里面运用会报错,其实在模型进行评估的时候是完全不需要调用奖励设计的。
一、将extra_info利用起来如何在奖励设计的时候利用extra_info呢?这个的话我们需要给agenet.py 里面的 observation_process函数 提供一个额外的布尔变量去进行控制何时进行评估,何时进行训练即可,具体如下。
def observation_process(self, obs, extra_info=None, is_exploit=False): # 评估的时候只返回feature, legal_action if is_exploit: feature, legal_action = self.preprocessor.process([obs, extra_i ...
开悟初赛笔记-特征处理篇本次开悟初赛期对于特征的处理要求有一点高,而且不同赛道的赛道地图和特征信息都不大相同。
比如博弈赛道的地图里面英雄的局部视野域都是11 x 11 的矩阵,在具身赛道里面的地图英雄的局部视野域就变成了51 x 51 的矩阵了。
不同的局部视野域做特征输入需要就特征的维度长度来进行不同的模型设计,而且不同赛道也需要采取不同的特征设计。
比如具身赛道的51 x 51展平之后维度过于庞大,应当先做卷积处理,而博弈赛道的话没必要特意做卷积处理,用MLP即可,还有博弈的中级和高级赛道的organs字段里面是不一样的,具身的话基本只存在视野域内的organ。
以及官方默认提供的模型输出之后的维度仅仅只有移动的八维,闪现的八维是没有进行提供的。
这会导致智能体在面对这种有随机障碍物的环境很难去到达终点,所以我们做的第一步是做模型输出的动作空间进行扩展。
注:本人也是在历史各位大佬的帖子里面不断学习成长过来的,初赛的话发这个帖子是希望无论是新来参加开悟的还是以前一起的都能够一起讨论学习,我已经参加了大概二年开悟比赛了,从一开始的小白完全不懂,到现在也能够自己发帖帮助一些萌新。我的 ...
开悟学习期思路分享一、问题分析学习期的比赛环境是一个智能体在64x64的网格环境里面,宝箱是0-10的随机,位置也是随机的。比赛目的是为了能够让其在对地图不断地探索中学习移动策略,减少碰撞障碍物,以最少的步数从起点走到终点,可能会有附属任务——收集宝箱。
我们不妨把这个问题简化,我们把宝箱和终点都视为目标、终点可以看成一个特殊的目标。实际任务的本质就是
在这随机的目标(包括终点)里面,让智能体每次都走最近的目标,最后再到我们终点这个特殊目标
这样我们就可以把这个稍微复杂的问题分解成一个个小问题,无论在随机多少宝箱的环境,我们都能把它分解成每次都是以当前的位置到最近的目标的位置
比如官方的这个示例图,我们就可以把它分解成6个任务。我们用红色箭头来标识如下图
在当前的这个环境里面,我们有6个任务目标,其实不难发现,任务目标数和宝箱数量成正比,并且是宝箱数量+1。其实我们目的就是要让智能体学会的是在面对每次大环境里面的一次次的简单任务。而且不难发现这个任务数量是固定的。其实这个环境的所有随机也都不是真的随机,我们智能体一共只会遇到大概1024个环境。
二、特征处理特征处理可以直接在原本Q ...
嵌入式课程设计项目概述本项目是长江大学的嵌入式系统课程设计,包含了三个课设需要完成的任务内容,专为对应实验箱中的ARM Cortex-A8开发板设计:
逆序流水灯控制 - GPIO硬件控制演示
SQLite数据库操作 - 嵌入式数据库应用
Qt图形界面LED控制 - 跨平台GUI应用
功能特性逆序流水灯
8个LED灯的逆序流水效果
直接GPIO寄存器操作
内存映射硬件控制
实时控制台输出
SQLite数据库
完整的CRUD操作演示
交互式命令行界面
批量数据操作
错误处理和恢复
Qt GUI控制面板
直观的LED控制界面
实时硬件状态反馈
中文界面支持
一键全部控制功能
系统架构嵌入式课设/├── 逆序流水灯/ # LED流水灯控制模块│ ├── src/│ │ └── led8.c # 主程序和GPIO控制│ ├── include/│ │ └── led8.h # 硬件定义和函数声明│ ├── build_arm.sh # ARM交叉编译脚本│ └── CMakeLists.txt # ...
国内免费获取 DeepSeek API 服务及本地应用部署指南我们已成功部署NextChat服务,基于Groq的高性能70B大规模模型蒸馏技术,现已推出专业的网页对话端。如需体验更为高速与高效的deepseek-R1 70B大模型服务,欢迎访问Crosery。
一、利用 Groq 白嫖免费高速的 DeepSeek 70B 蒸馏模型前提条件
一个可用的 Groq 账号(需要注册)
一个本地的 AI 客户端 Cherry Studio
科学上网工具 Clash Verge
注册 Groq 账号并申请 API
访问 Groq 官网
点击 进行用 github 登录
在控制台获取 API 密钥,如图所示:
API 调用方案方案一:下载 Cherry Studio 的 AI 客户端进行本地对话(易)
访问 Cherry Studio 官网下载对应的软件
打开客户端页面点击左下角的小齿轮 进行设置
选择 Groq 服务 ,输入 API 密钥 ,然后添加 deepseek-r1-distill-llama-70b ,如图所示:
选择刚刚创建的 Groq 服务的模型,如图所示:
然 ...
游戏概述
游戏名称:しょうよん! ~コドモ★ちゃれんじ~(柚子社早期作品)
原始语言:日文
目标语言:中文
汉化工具
使用的翻译:deepseeek-v3
使用的编辑器:vscode、IDA
其他辅助工具:winhex、吾爱破解(LCG)、GARbro、EXtractDATA
汉化过程一、分析游戏exe文件① 更改游戏编码一般日本galgame的游戏编码都是shift-jis、近些年来少部分galgame的游戏编码是utf-8可以支持中文。所以想要完成游戏汉化,首先得把游戏里面的编码更改为支持中文的gbk编码
关于编码的一些经验之谈可以参考b站大佬的视频:[Gal汉化入门]#3.1 编码&范围校验修改演示_哔哩哔哩_bilibili
对于しょうよん! ~コドモ★ちゃれんじ~这个游戏的游戏编码更改具体步骤如下:
1、通过利用吾爱破解(LCG)分析了游戏exe文件、在CreateFontA的输入函数下切换断点。
2、会发现编码的控制非常简单,只需将对应部分的0x80(shift-jis)->0x86(gbk)即可
3、更改完会发现游戏出现乱码,是因为原来的文本内容是sh ...
🚗 ROS双线巡线方案 – 第十九届科大讯飞智能车比赛这个ROS包是由长江大学极客班的极客👨💻👩💻开源,是第19届科大讯飞智能车救援组巡线比赛定制的方案,也可以用于其他双线内巡线的参考的ROS包方案。
🌟 一起开源,推动科技进步在这个快速变化的时代,开源是推动技术进步和创新的关键力量。通过分享我们的知识和代码,我们不仅可以加速技术的发展,还能培养新一代的工程师和开发者。我们鼓励大家加入开源社区,分享你的创意和成果,让更多人受益。
无论你是一个初学者还是经验丰富的专家,都可以在开源项目中找到你的位置。每一行代码、每一个建议都能为项目注入新的活力。让我们携手合作,共同推动科技的进步,创造一个更加开放和互联的世界。
开源地址:
Gitee:Gitee
Github:Github
🌟 闪亮特性
🧠 智能图像处理:就像给你的小车装了一双火眼金睛
🎛️ 灵活PID控制:平滑巡线,宛如小车在跳华尔兹
🔧 超强可配置性:可以自由的调教你的小车
🛠️ 你需要准备的工具箱在开始之前,请确保你的系统已经安装了以下环境和依赖:
ROS(我们在Noetic上反复蹂躏测试过)
...
标准C语言实现简单Web服务器本课设任务来自长江大学计算机网络课设任务四!
环境需要:Visual Studio 2022 + CMake + 命令行编译
一、项目介绍📋 任务要求设计目标:
完成基础的tcp连接,支持基础的client与其连接,简单的http访问,支持静态页面访问,需要一定的报错机制,如404页面的建立。
socket实现简单Http服务器,完成html的解析;
运行该服务器可以通过浏览器访问服务器目录下的 Html文件、jpg图片、css文件的载入。 完成初步的Http服务器功能。
相关技术:
Server端:
完成socket(),bind(),listen()这些初始化工作后,调用accept()方法阻塞等待,等待Client的connect()方法连接
处理HTTP请求,解析请求行、请求头,返回相应的静态文件或错误页面
二、运行截图代码实现效果:
三、开发环境安装3.1 Visual Studio 2022 安装(推荐)下载地址:Visual Studio 2022 Community
3.2 CMake 安装下载地址:CMake官网
安装步骤 ...
Q群机器人基本使用教程这个教程就是针对于本人根据云崽框架搭建的QQ机器人的相关使用教程,教程如下
一、机器人基本介绍机器人在Q群里面的名称叫做纳西妲(因为群主是纳西妲单推人),QQ号是1461277498,里面的很多功能在群聊也可以用,私聊一样可以。所以可以加机器人QQ,使用我用Chatgpt-plugin插件内置的gpt功能,也可以在群里面@机器人然后发你想询问的信息就可以。
机器人内置插件如下图:
很多的插件都有相应的功能,一般的插件都会有对应功能的帮助面板,当然里面也只有一些常用的插件。
二、插件帮助面板对机器人发送对应的像(#{name}帮助)的指令就可以唤起对应的帮助面板,比如我机器人默认的就是喵喵插件的帮助,就可以发送#帮助或者#喵喵帮助得到对应的功能面板,如下图展示
这里面{name}就是填写对应插件的名字,然后发送成功后就可以得到对应的帮助面板,本群常用的有喵喵插件、星铁插件、土块插件、枫叶插件等等。如果你要唤起星铁插件的帮助面板就发#星铁帮助,如果你要土块插件的帮助面板就发#土块帮助其他的同理。还有就是本群很多的插件功能面板图都在群精华信息内。
三、如何使用插 ...




























