目 录
摘(关键词) 1
1．引言 1
1．1选题意义 1
1．2国外发展状况 1
1．3展 2
1．4目前强化学遇问题 2
1．5研究方法探索 3
2．系统模型理支持 3
2．1马尔科夫决策程 3
2．2强化学 3
2．3 Q学 4
2．4 Q学信道选择算法 5
2．5 Boltzmann学规 6
2．6 模拟退火程 7
2．7 OFDM信道接入方式 7
2．8 系统模型 7
2．9 蒙特卡洛方法 8
3．算法流程实验程 8
3．1实验程 8
3．2算法流程 8
3．3仿真程 10
4．结果分析 11
4．1数分析 11
4．2实验中存问题行性 13
5．结束语 13
6．参考文献 13
7．致谢 14
abstract(key words) 15
基客户端学算法节问题
信息工程学院电子工程系（集成电路设计集成系统） 蔡凯钊
学号：2014130254
摘移动客户端数量日益增通信频道资源渐渐难满足需求文采种基Q学信道选择算法通建立点点户间通信信道模型建立合理回报函数智机够通总结验改善行决策进终优选择决策仿真结果出该算法效提高户接入信道均信道容量信道均容量提升信息该系统信息传递速率会定优化达充分利优秀信道资源节约信道资源效果
关键词信道选择Q学节问题
1．引言
11选题意义
工智现热门研究领域中研究工智核心方法机器学初希计算机拥定学力获取知识提高智性着机器学领域断探索类学力赋予机器已机器学目标 研究目标转效计算机实数分析技术然机器学需采集量环境反馈累积奖赏值获优决策程需量数采集分配计算计算机耗着较求节约耗需通强化学优化算法结构效率更少耗找优决策样减少硬件求机器学推广更领域中
强化学机器学领域中种重学方法强化学应烦恼涵盖智控制机器分析预测等众领域线通信领域中线资源需求日益增加高效序信道频谱资源进行分配节约耗关键问题文通强化学方法频谱接入信道分配进行动态规划目合理运现资源充分改善资源利率实现动态频谱理减少频谱资源需求提供定实践基础
12国外发展状况
国外强化学众研究成果应实例目前发展应较方面：调度理中应：调度问题种优化控制问题实际例子解决种问题会带高济价值CritesBarto强化学算法应楼层电梯系统中通强化学算法采集记录客位置目标楼层动态规划电梯行径效率远远超般动态规划外强化学应例子蜂窝电话系统中动态信道分配机器调度问题
机器技术中应：机器研究领域强化学适合应实例领域年国际兴起强化学应智机器领域研究热潮Hee RakBeem陆移动机器导航系统完美避开碰撞物达目两种行采模糊逻辑强化学方法机器导航系统优化
国目前现状：国目前处新兴发展阶段强化学工智方面逐渐赶外国发达国家已少关强化学成果应行业领域基时隙CSMA水声线传感器网络节强化学算法 达低源消耗传送数包汇聚节点目标出种节基时隙CSMA(载波帧听访问)强化学算法分析时隙CSMA强化学协议行性研究节点均耗子信道数间关系提高传感器寿命
13展
研究发展研究员越越重视强化学理应现实问题复杂度高强化学实际工程中应旧存问题环境完全感知agent分布式问题分层强化学问题等强化学已开始逐渐应工智机器控制工业控制等系统运强化学算法解决客户端学节问题机器学推广更领域通强化学方式动态优化神网络结构机器学够更高效更目处理指定问题缩短机器学学周期减少耗果强化学够效利行业调度提高速率合理分配资源等方面极优化前景广阔
14目前强化学遇问题
时间信方面存着分配问题智体作出动作仅决定立奖赏会影响状态环境导致智体仅考虑立奖赏考虑状态带奖赏奖赏延迟越学算法需进行尝试次数会越导致学消耗额时间增加学时间增加会智体运算消耗变造成资源浪费
学程中存着探索利两问题两程进行折衷考量强化学中关键问题通利已知动作智体稳定奖赏相利已知动作获奖赏探索新动作获更高奖赏探索会系统消耗更资源
强化学项环境紧密联系起学算法外界环境复杂度反复常变化会影响智体学程动态规划学程中探索利程亟解决问题
强化学算法优化函数状态空间中获策略旦系统复杂度变高量参数描述样状态动作映射组合量会量增加学时间会极变长决策优化程会相漫长增加务探索负担终影响决策优化效率
强化学算法赖外界环境状态学算法终完成决策优化需算法具收敛性旦外界环境系统变越发复杂智体法精确环境状态会学算法法实际环境中收敛解决算法收敛问题算法应难复杂工程中应
15研究方法探索
信道选择作概率事件里通蒙特卡洛方法通信模型进行仿真通信中种指标衡量系统信道利率里通考虑信道容量指标观察Q学否优化改良信道选择问题信道容量侧面衡量出信息传输速率
强化学算法较关键问题探索程利程进行折衷文进行通信系统模型较简单通模拟退火温度方法Q学Q值矩阵权重进行调整定程度解决探索利矛盾Q学终收敛
2系统模型理支持
21马尔科夫决策程
部分强化学算法根马尔科夫决策程发展实强化学算法前需马尔科夫决策程进行解
马尔科夫决策程：通马尔科夫程理延伸出种决策程种机动态系统中获优决策程马尔科夫决策程指仿佛周期循环程中决策者断观察机动态系统（系统具马尔科夫性）然序贯作出决策详细说明决策者时刻观察状态决策者作出行动中选择行动行动作决策系统达状态完全机状态转移概率遵循马尔科夫性决策者通观测新状态作出新决策循环反复进行马尔科夫性指机事件通未发展具定概率规律历史关种性质总说种状态转移概率效性
22强化学
强化学种机器学方法通智机环境交流联系通动作环境进行反馈环境反馈作智机输入强化学利智体断环境进行交流接受反馈思路利方法种试错模式然智体状态空间动作空间映射中获学改善决策断累计奖赏值强化学算法程中般环境发送信号信号Agent选择决策出动作进行判断判断环境带奖赏正奖赏负奖赏环境反馈回信号会智体选择动作作出直接影响Agent需累计奖赏总结验进行学通种方式Agent通获外界环境反馈信号优化决策程进足够迭代学终优决策学程图1示
图1 Agent通环境学程
强化学处理般通建立马尔科夫决策程简称MDPMDP般五元组{SAP(statst+1)r(stat )Q stst+1 ∈Sat ∈ A}表示中S表示连续状态空间A表示连续动作空间P(statst+1)表示Agent处状态 st 时执行动作at转移状态st+1概率r(stat)表示st时执行动作at奖赏Q表示状态动作值函数
文献[8]中解强化学算法种实现方法种算法实例动态规划（DP）蒙特卡洛算法瞬时差分学算法（TD算法）Q学算法Sarsa算法Dyna学算法文利Q学算法进行信道选择优化问题
23 Q学
文献[7]中解Q学原理迭代算法原理Q学相关实现方式
首先解Q学概念形式Q学种动态规划理中总结发展出种模型没关系延迟学方式Q学算法形式：
（1）
中状态s智机通执行动作a获优奖赏值总
定义状态s优值函数
（2）
说明现状态值Q进行反复反应获该状态优动作决策前状态动作Q值数值中包含需信息说明状态s智体选择动作a时智体会获累计奖赏值
Q学迭代公式
（3）
该算法交互程图2示：
图2 智体环境交互程
24 Q学信道选择算法
文Q学算法应机会频谱接入系统中信道选择策略中接入体系信道选择框架户通接入策略选择信道方式侦听频谱探索环境中信道否处空闲状态然进行信道接入决策获奖赏值完成环境交流互动通建立限马尔科夫决策程设定状态空间S动作空间A状态转移函数回报函数r具体体系框架图3示
图3 信道选择接入体系框架
状态空间S：Sn状态组成次户处频带Bi时时间没户频带时选取Si作现态
动作空间AAn行动作构成动作ai选择执行时总状态变si果系统中存量频带数时动作状态组合量会极增存空间占通神网络方式解决
转移状态函数前状态执行动作ai系统现态进入状态
回报函数：通系统性指标系统执行动作户获供信道果较信道容量设定次回报正回报剩情况回报0回报公式：
（4）
里表示信道否处空闲状态Td表示时隙中数传输时间Ts表示信道感知时间In表示接收端否正确接受信息里In示性函数表示1否0
信道容量：通信道容量描述信道性透信道容量反映出信道传输信息量信道容量信源没关系输入概率分布致交互信息定会值值定义成信道容量知道转移概率矩阵计算出该信道信道容量
Cn前选择信道信道容量理解信息信道传输速率通香农公式：
（5）
出系统均信道容量：
（6）
中m代表系统均数传输速率
25Boltzmann学规
智机学程中进行次学时知道种策略动作进行选择种学算法定问题假设智体开始学时候通迭代学找较高Q值动作会Q值限制会探索更策略Q学终收敛稳定状态需动作反复断探索符合Q学收敛特性必须做出探索决策间折衷选择阅读文献[1]文献[2]中关利Q学算法进行信道预测接入问题中采Boltzmann学规讨信道接入问题时想通采Boltzmann学型规结合模拟退火程达Q学收敛根Q值矩阵中元素动作进行概率赋值里条件概率公式：
（7）
公式表示状态s通动作选择信道an概率表示模拟退火温度退火温度值高时Q值影响似机选择没次学退火温度值减少样Q值影响逐渐增时Q值中较部分更高概率选择样探索逐渐想利方变化Q学程会逐渐收敛
26模拟退火程
学程反复迭代累计奖赏程视种试错算法刚开时进行学时R值矩阵Q值矩阵均达优学开始时Q值回报函数获奖赏值导致Q矩阵数值较Q值会影响决策新环境状态没探索学初Q值占权重需较值样学开始时会出现Q值限制智体探索处理学程中探索利衡问题通文献[10]中模拟退火算法参数权重进行适调整通设置初始退火温度定参数负指数规律递减旦达设置终温度完成次学退火温度逐渐减少程中Q值矩阵权重逐渐增加达开始Q值会影响探索程
27 OFDM信道接入方式
需建立通信模型作优化进行仿真文采文献[1]中致通信信道接入方式——OFDM信道接入方式OFDM全称正交频分复技术OFDM技术常实现载波传输方案实现调制解调基IFFTFFt实现OFDM现阶段通信方面应广泛载波传输方案
信道次传输路信号话显十分奢侈通采频分复方式充分利条信道带宽资源
OFDM思想通信道划分成正交子信道速度高数信号分许行速度低子数流数流分调制正交子信道进行输送通正交传输方式减少子信道间相互干扰仅通子信道信号带宽子信道作坦性衰落消码间串扰子信道信道均衡会变容易
28系统模型
认知线电系统中N相互干扰OFDM载波频段构成授权频谱设定信道带宽BnS(t)[S1(t)S2(t)Sn(t)]表示信道状态里Sn(t)代表着t时刻n信道中信道状态snr代表者客户端户间信噪量硬件限制面导致户次探索利频谱机会独立考虑户间相互影响
次户发出信息时接受端会根现处信道选择策略信道进行选择侦听结合前锁观察验判决信道否处空闲状态
图4 户信道模型
29蒙特卡洛方法
文献[8]中引出蒙特卡洛方法需解该方法原理实现步骤解决问题机事件出现概率通实验方法种事件出现频率估计机概率
蒙特卡洛方法分三分步骤：
（1） 构造描述概率程：身具概率性质问题通建立正确描述模拟概率事件环境概率进行求解果具概率性质问题建立概率事件环境中取某适合参数问题进行描述出问题答案
（2） 实现已知概率分部抽样：构建创造出概率模型概率模型作许概率分布组成构造确定概率分布机变量采蒙特卡洛方法模拟实验般方式
（3） 建立种估计量：通常讲创造概率模型模型中抽样模拟实验中确定机变量作求问题解称偏估计透构建种样估计量作模拟实验结果进行考量记录终结果中获求问题解
3算法流程实现程
31实验步骤
首先通建立通信系统模型需参数逐进行设置建立符合实验求客户端间通信系统模型模型基础首先进行机接入信道仿真测试通matlab机数生成函数机选择决策动作达机接入信道效果通香农公式计算出系统均信道容量绘制出通信次数均信道容量曲线
完成机信道接入进行Q学信道选择算法实验首先Q迭代函数R回报函数接入概率函数进行联系学结果通回报影响决策优化决策策略算法应首先算法项参数进行初始话保证实验开始时回报函数Q值函数均处初始状态样保证开始信道选择处机选择状态然回报函数通信模型进行联系样环境反馈智体联系起通Q值迭代公式（3）获新Q值影响决策通系统均信道容量结果进行衡量分析假学系统均信道容量提升说明Q学信道选择算法效优化信道选择程假学系统均信道容量均接入致甚低均接入方法说明实验存问题需考虑优化算法者寻找解决方法终出结讨算法行性性
32算法流程
（1） 初始化：设定N阶方阵元素全0矩阵设置Q迭代公式中折现子（折现子越学越考虑未奖惩立奖赏影响会较）设置学程中初始退火温度终退火温度通机先择起始动作选择状态作起点
（2） 通Boltzmann学规通条件概率函数选择动作信道进行访问动作执行时需通侦听信道判断目标信道否处空闲处空闲状态接入信道处忙碌状态反馈回报0重新选择接入策略
（3） 接入信道进行信道传输果接受端未收信号回报零需更新选择策略果接收端成功接受信号会成功获回报通回报函数计算奖赏值
（4） 智体通回报函数计算R值记录值矩阵Q值迭代公式更新Q矩阵
（5） 完成Q值迭代退火温度进行衰减操作
（6） 求Q值衰减退火温度回代概率函数中达更新选择策略目
（7） 进入状态返回程（2）直迭代完成
图5 Q学算法算法流程
列出Q学算法描述：
Initialize arbitrarily
Repeat(for each episode)
Initialize s
Repeat(for each step of episode)
Choose a from s using policy derived from Q(eggreedy)
Take action aobserve rs’
Until s is terminal
33仿真程
次实验做学机制适户间处环境明信道条件解情况便探求提出算法否效行通信环境进行理想化假设通设定组户户间供选择信道77信道负载量信噪表1示信道信噪通预设进行确定假设条信道信道带宽B1Q迭代公式中折现子09折现子设定值较高学目标着重未回报减少立回报影响起始退火温度设定衰减速率折现子数值通指数衰减形式衰减值终退火温度仿真原理利蒙特卡洛方法首先未学时户认机接入复合条件信道中样系统1000次通信中均信道容量会趋条信道均信道容量完成机信道选择程进行Q学信道选择开始学时初始退火温度较动作决策作机选择着通信次数增加Q值矩阵断迭代退火温度减逐渐影响概率函数学达收敛时系统均信道容量收敛值时均信道容量值会接优信道信道容量
户间信道通信具复杂环境干扰户占信道目标探求Q学指导信道选择策略行性进行通信环境模拟时候许复杂变量做理想化处理假设次通信组发送接受端忽略户通信造成信道占现象信道侦听程中信道默认处空闲状态信道信噪通理想化处理信道应固定信噪样相稳定环境学效率会提高更加直观观察学带影响
信道1
信道2
信道3
信道4
信道5
信道6
信道7
负载量
090
088
045
044
023
043
021
信噪
20
12
13
9
18
8
12
表1 模拟通信环境信道参数
4 结果分析
41数分析
通matlab模型建设算法编写图示结果没通强化学进行信道机选择程中系统1000次模拟通信均信道容量7条信道均信道容量致相等前次通信程中样数目较少呈现出规律散乱分部进行次数增机接入方法均信道容量逐渐稳定均值通机接入方式进行信道选择法充分效利目前效信道进行信息交流样传输速率受限制增通信耗
Q学机制信道选择策略出学刚开始时结果机接入样呈现出种机信道接入造成种结果原学开始时关注探索程利回报函数进行决策优化程退火温度值较Q学影响信道接入概率函数权重智机作出动作决策时基作机选择呈现出机选择效果定次数学Q值矩阵影响越越信道接入策略会逐渐优化决策方收敛图6示稳定通信环境户会优先选择信噪信道进行通信户均信道容量会提高信息传输速率吞吐率等方面会定改进充分利信道资源通实践调度更节约信道资源
通信道接入次数发现机接入模式条信道接入机会致相图7示系统请求接入信道时会考虑信道信道容量会机选取信道进行信息传输次信息传输系统通信均信道容量然会趋信道容量均值
相通Q学信道接入算法优化信道接入信道容量两条次数明显增加信道容量低条信道少接入图8示里信道1信道5着相信噪信道学两信道较接入概率充分表现出信道选择策略优化极提高系统通信均信道容量传输效率传输质量提升降低耗
图6 两种接入方式均信道容量
图7 机接入方式信道接入次数
图8 Q学信道接入算法吓信道接入次数
42实验中存问题行性
实验构建较简单单单户信息传输程建立系统模型十分稳定通信系统实际现实工程应时信道信噪信道带宽负载量影响信息传输重素参数没办法实验样恒定参数次通信外界环境会较变化学算法中探索利关系会变更加复杂通学改善决策前优策略环境变化动作带选择已优秀选择智机重新探索改善累计奖赏构建动态规划探索利间权重显尤重
然现实环境千变万化通Q学信道接入选择策略定程度优化决策策略通验提前判断接入优路径会学概率分部函数接入信道进行选择环境变化通信条件极提高传输速率传输速率提高客户端需消耗资源然会节省
次实验实验结果提升效率十分明显环境稳定信道数目较少造成信道数目较环境变化条件通增加探索时间改进回报函数解决单组户间通信节问题组户交叉通信问题中户动作空间状态空间映射数量极增加学复杂度次研究法深入探索该方法户间通信节问题探究
5结束语
文研究客户端基学算法节问题通信信道接入方面作出优化目前通设定玻尔兹曼机利神网络方式实现信道选择研究方法进行改进利强化学算法通环境反馈回报值优化玻尔兹曼机中概率函数终改变决策策略客户端效提高接入优信道概率提升通信系统均信道容量加信息传输速率合理运信道资源达节目通仿真结果出客户端通环境断交互中获验进学优化策略效提高客户端接入信道均信道容量文通Q学算法探究面Q学算法探索利折衷问题时通查阅资料引入模拟退火模型定程度解决探索利问题种方式定局限性需相稳定环境达终退火温度学算法着重利探索会欠缺环境改变需重新探索方法受限点文研究针单客户端通信程面复杂通信时种学策略行性研究
6参考文献
[1]赵彪 李鸥 栾红志 Q学算法机会频谱接入信道选择中应[J] 信号处理2014
[2]张凯李鸥杨白薇 基Qlearning机会频谱接入信道选择算法[J] 计算机应研究2013
[3]张士兵 王惠建 邹丽 基POMDP模型分布式机会频谱接入算法[J] 南京邮电学学报（然科学版）
[4]彭晓东 肖立民 钟晓峰 周世东 基信道质量信息机会频谱接入策略[J] 清华学学报（然科学版）
[5]张兆城 杨震 基联盟认知线电机会频谱接入[J] 南京邮电学学报（然科学版）
[6]叶芝慧 冯奇 王健 基学策略动态频谱接入信道选择系统性[J] 东南学学报（然科学版）
[7]刘忠 李海红 刘全 强化学算法研究[J] 计算机工程设计
[8]李瑞 强化学算法研究[J] 渝西学院学报（然科学版）
[9]王培屹 浅析强化学算法研究应[J] 科技信息
[10] 陆静 李宝 张英 易娇 庞征斌 种基改进模拟退火算法程序性优化参数搜索算法
[11]KAELBLING L P LITTMNN M L MOORE A W Reinforcement leurningA survey[J]
[12]张汝波 提高强化学速度方法研究[J] 计算机工程应2001
[13]张汝波 强化学理应[M] 哈尔滨哈尔滨工程学出版社2001
[14]童亮陆际联龚建伟 种快速强化学方法研究[J] 北京理工学学报2005
[15] 杨晓燕 杨震 刘善彬 基预测机制认知线电机会频谱接入[J] 重庆邮电学学报（然科学版）2009(1)1419
[16]李娜 李鸥 孙乐 孙武剑 基概率预测动态频谱接入信道选择方法[J] 信息工程学学报
[17]CICHOSZ P Truncating temporal differences On the efficient implementation of TD(λ) for reinforcement learning[J]
[18]MOOR A W ATKESON C G Prioritized sweepingReinforcement learning with less data and less real time[J]
[19]AKYILDIZ I F WONYEOL L VURAN M C A survey on spectrum management in cognitive radio networks[J]
[20] REDDY Y B Detecting primary signals for efficient utilization of spectrum using Qlearning[A]
abstractNow mobile client number increasing the communication channel resources gradually difficult to meet the demand this paper adopts a channel selection algorithm based on the Q learning through the establishment of point to point communication channel between the user model and to establish a reasonable return function makes the smartphone can improve behavioral decision through summing up experience then makes the final can get the choice of the optimal decision By simulation results that the algorithm can effectively improve the average user access channel channel capacity by expanding the channel of the average capacity improve the information transmission rate to make full use of good channel the effect of channel resources saving
key wordschannel selection Q learning energy saving problem
文档香网(httpswwwxiangdangnet)户传
《香当网》用户分享的内容，不代表《香当网》观点或立场，请自行判断内容的真实性和可靠性！
该内容是文档的文本内容，更好的格式请下载文档
目 录
摘(关键词) 1
1．引言 1
1．1选题意义 1
1．2国外发展状况 1
1．3展 2
1．4目前强化学遇问题 2
1．5研究方法探索 3
2．系统模型理支持 3
2．1马尔科夫决策程 3
2．2强化学 3
2．3 Q学 4
2．4 Q学信道选择算法 5
2．5 Boltzmann学规 6
2．6 模拟退火程 7
2．7 OFDM信道接入方式 7
2．8 系统模型 7
2．9 蒙特卡洛方法 8
3．算法流程实验程 8
3．1实验程 8
3．2算法流程 8
3．3仿真程 10
4．结果分析 11
4．1数分析 11
4．2实验中存问题行性 13
5．结束语 13
6．参考文献 13
7．致谢 14
abstract(key words) 15
基客户端学算法节问题
信息工程学院电子工程系（集成电路设计集成系统） 蔡凯钊
学号：2014130254
摘移动客户端数量日益增通信频道资源渐渐难满足需求文采种基Q学信道选择算法通建立点点户间通信信道模型建立合理回报函数智机够通总结验改善行决策进终优选择决策仿真结果出该算法效提高户接入信道均信道容量信道均容量提升信息该系统信息传递速率会定优化达充分利优秀信道资源节约信道资源效果
关键词信道选择Q学节问题
1．引言
11选题意义
工智现热门研究领域中研究工智核心方法机器学初希计算机拥定学力获取知识提高智性着机器学领域断探索类学力赋予机器已机器学目标 研究目标转效计算机实数分析技术然机器学需采集量环境反馈累积奖赏值获优决策程需量数采集分配计算计算机耗着较求节约耗需通强化学优化算法结构效率更少耗找优决策样减少硬件求机器学推广更领域中
强化学机器学领域中种重学方法强化学应烦恼涵盖智控制机器分析预测等众领域线通信领域中线资源需求日益增加高效序信道频谱资源进行分配节约耗关键问题文通强化学方法频谱接入信道分配进行动态规划目合理运现资源充分改善资源利率实现动态频谱理减少频谱资源需求提供定实践基础
12国外发展状况
国外强化学众研究成果应实例目前发展应较方面：调度理中应：调度问题种优化控制问题实际例子解决种问题会带高济价值CritesBarto强化学算法应楼层电梯系统中通强化学算法采集记录客位置目标楼层动态规划电梯行径效率远远超般动态规划外强化学应例子蜂窝电话系统中动态信道分配机器调度问题
机器技术中应：机器研究领域强化学适合应实例领域年国际兴起强化学应智机器领域研究热潮Hee RakBeem陆移动机器导航系统完美避开碰撞物达目两种行采模糊逻辑强化学方法机器导航系统优化
国目前现状：国目前处新兴发展阶段强化学工智方面逐渐赶外国发达国家已少关强化学成果应行业领域基时隙CSMA水声线传感器网络节强化学算法 达低源消耗传送数包汇聚节点目标出种节基时隙CSMA(载波帧听访问)强化学算法分析时隙CSMA强化学协议行性研究节点均耗子信道数间关系提高传感器寿命
13展
研究发展研究员越越重视强化学理应现实问题复杂度高强化学实际工程中应旧存问题环境完全感知agent分布式问题分层强化学问题等强化学已开始逐渐应工智机器控制工业控制等系统运强化学算法解决客户端学节问题机器学推广更领域通强化学方式动态优化神网络结构机器学够更高效更目处理指定问题缩短机器学学周期减少耗果强化学够效利行业调度提高速率合理分配资源等方面极优化前景广阔
14目前强化学遇问题
时间信方面存着分配问题智体作出动作仅决定立奖赏会影响状态环境导致智体仅考虑立奖赏考虑状态带奖赏奖赏延迟越学算法需进行尝试次数会越导致学消耗额时间增加学时间增加会智体运算消耗变造成资源浪费
学程中存着探索利两问题两程进行折衷考量强化学中关键问题通利已知动作智体稳定奖赏相利已知动作获奖赏探索新动作获更高奖赏探索会系统消耗更资源
强化学项环境紧密联系起学算法外界环境复杂度反复常变化会影响智体学程动态规划学程中探索利程亟解决问题
强化学算法优化函数状态空间中获策略旦系统复杂度变高量参数描述样状态动作映射组合量会量增加学时间会极变长决策优化程会相漫长增加务探索负担终影响决策优化效率
强化学算法赖外界环境状态学算法终完成决策优化需算法具收敛性旦外界环境系统变越发复杂智体法精确环境状态会学算法法实际环境中收敛解决算法收敛问题算法应难复杂工程中应
15研究方法探索
信道选择作概率事件里通蒙特卡洛方法通信模型进行仿真通信中种指标衡量系统信道利率里通考虑信道容量指标观察Q学否优化改良信道选择问题信道容量侧面衡量出信息传输速率
强化学算法较关键问题探索程利程进行折衷文进行通信系统模型较简单通模拟退火温度方法Q学Q值矩阵权重进行调整定程度解决探索利矛盾Q学终收敛
2系统模型理支持
21马尔科夫决策程
部分强化学算法根马尔科夫决策程发展实强化学算法前需马尔科夫决策程进行解
马尔科夫决策程：通马尔科夫程理延伸出种决策程种机动态系统中获优决策程马尔科夫决策程指仿佛周期循环程中决策者断观察机动态系统（系统具马尔科夫性）然序贯作出决策详细说明决策者时刻观察状态决策者作出行动中选择行动行动作决策系统达状态完全机状态转移概率遵循马尔科夫性决策者通观测新状态作出新决策循环反复进行马尔科夫性指机事件通未发展具定概率规律历史关种性质总说种状态转移概率效性
22强化学
强化学种机器学方法通智机环境交流联系通动作环境进行反馈环境反馈作智机输入强化学利智体断环境进行交流接受反馈思路利方法种试错模式然智体状态空间动作空间映射中获学改善决策断累计奖赏值强化学算法程中般环境发送信号信号Agent选择决策出动作进行判断判断环境带奖赏正奖赏负奖赏环境反馈回信号会智体选择动作作出直接影响Agent需累计奖赏总结验进行学通种方式Agent通获外界环境反馈信号优化决策程进足够迭代学终优决策学程图1示
图1 Agent通环境学程
强化学处理般通建立马尔科夫决策程简称MDPMDP般五元组{SAP(statst+1)r(stat )Q stst+1 ∈Sat ∈ A}表示中S表示连续状态空间A表示连续动作空间P(statst+1)表示Agent处状态 st 时执行动作at转移状态st+1概率r(stat)表示st时执行动作at奖赏Q表示状态动作值函数
文献[8]中解强化学算法种实现方法种算法实例动态规划（DP）蒙特卡洛算法瞬时差分学算法（TD算法）Q学算法Sarsa算法Dyna学算法文利Q学算法进行信道选择优化问题
23 Q学
文献[7]中解Q学原理迭代算法原理Q学相关实现方式
首先解Q学概念形式Q学种动态规划理中总结发展出种模型没关系延迟学方式Q学算法形式：
（1）
中状态s智机通执行动作a获优奖赏值总
定义状态s优值函数
（2）
说明现状态值Q进行反复反应获该状态优动作决策前状态动作Q值数值中包含需信息说明状态s智体选择动作a时智体会获累计奖赏值
Q学迭代公式
（3）
该算法交互程图2示：
图2 智体环境交互程
24 Q学信道选择算法
文Q学算法应机会频谱接入系统中信道选择策略中接入体系信道选择框架户通接入策略选择信道方式侦听频谱探索环境中信道否处空闲状态然进行信道接入决策获奖赏值完成环境交流互动通建立限马尔科夫决策程设定状态空间S动作空间A状态转移函数回报函数r具体体系框架图3示
图3 信道选择接入体系框架
状态空间S：Sn状态组成次户处频带Bi时时间没户频带时选取Si作现态
动作空间AAn行动作构成动作ai选择执行时总状态变si果系统中存量频带数时动作状态组合量会极增存空间占通神网络方式解决
转移状态函数前状态执行动作ai系统现态进入状态
回报函数：通系统性指标系统执行动作户获供信道果较信道容量设定次回报正回报剩情况回报0回报公式：
（4）
里表示信道否处空闲状态Td表示时隙中数传输时间Ts表示信道感知时间In表示接收端否正确接受信息里In示性函数表示1否0
信道容量：通信道容量描述信道性透信道容量反映出信道传输信息量信道容量信源没关系输入概率分布致交互信息定会值值定义成信道容量知道转移概率矩阵计算出该信道信道容量
Cn前选择信道信道容量理解信息信道传输速率通香农公式：
（5）
出系统均信道容量：
（6）
中m代表系统均数传输速率
25Boltzmann学规
智机学程中进行次学时知道种策略动作进行选择种学算法定问题假设智体开始学时候通迭代学找较高Q值动作会Q值限制会探索更策略Q学终收敛稳定状态需动作反复断探索符合Q学收敛特性必须做出探索决策间折衷选择阅读文献[1]文献[2]中关利Q学算法进行信道预测接入问题中采Boltzmann学规讨信道接入问题时想通采Boltzmann学型规结合模拟退火程达Q学收敛根Q值矩阵中元素动作进行概率赋值里条件概率公式：
（7）
公式表示状态s通动作选择信道an概率表示模拟退火温度退火温度值高时Q值影响似机选择没次学退火温度值减少样Q值影响逐渐增时Q值中较部分更高概率选择样探索逐渐想利方变化Q学程会逐渐收敛
26模拟退火程
学程反复迭代累计奖赏程视种试错算法刚开时进行学时R值矩阵Q值矩阵均达优学开始时Q值回报函数获奖赏值导致Q矩阵数值较Q值会影响决策新环境状态没探索学初Q值占权重需较值样学开始时会出现Q值限制智体探索处理学程中探索利衡问题通文献[10]中模拟退火算法参数权重进行适调整通设置初始退火温度定参数负指数规律递减旦达设置终温度完成次学退火温度逐渐减少程中Q值矩阵权重逐渐增加达开始Q值会影响探索程
27 OFDM信道接入方式
需建立通信模型作优化进行仿真文采文献[1]中致通信信道接入方式——OFDM信道接入方式OFDM全称正交频分复技术OFDM技术常实现载波传输方案实现调制解调基IFFTFFt实现OFDM现阶段通信方面应广泛载波传输方案
信道次传输路信号话显十分奢侈通采频分复方式充分利条信道带宽资源
OFDM思想通信道划分成正交子信道速度高数信号分许行速度低子数流数流分调制正交子信道进行输送通正交传输方式减少子信道间相互干扰仅通子信道信号带宽子信道作坦性衰落消码间串扰子信道信道均衡会变容易
28系统模型
认知线电系统中N相互干扰OFDM载波频段构成授权频谱设定信道带宽BnS(t)[S1(t)S2(t)Sn(t)]表示信道状态里Sn(t)代表着t时刻n信道中信道状态snr代表者客户端户间信噪量硬件限制面导致户次探索利频谱机会独立考虑户间相互影响
次户发出信息时接受端会根现处信道选择策略信道进行选择侦听结合前锁观察验判决信道否处空闲状态
图4 户信道模型
29蒙特卡洛方法
文献[8]中引出蒙特卡洛方法需解该方法原理实现步骤解决问题机事件出现概率通实验方法种事件出现频率估计机概率
蒙特卡洛方法分三分步骤：
（1） 构造描述概率程：身具概率性质问题通建立正确描述模拟概率事件环境概率进行求解果具概率性质问题建立概率事件环境中取某适合参数问题进行描述出问题答案
（2） 实现已知概率分部抽样：构建创造出概率模型概率模型作许概率分布组成构造确定概率分布机变量采蒙特卡洛方法模拟实验般方式
（3） 建立种估计量：通常讲创造概率模型模型中抽样模拟实验中确定机变量作求问题解称偏估计透构建种样估计量作模拟实验结果进行考量记录终结果中获求问题解
3算法流程实现程
31实验步骤
首先通建立通信系统模型需参数逐进行设置建立符合实验求客户端间通信系统模型模型基础首先进行机接入信道仿真测试通matlab机数生成函数机选择决策动作达机接入信道效果通香农公式计算出系统均信道容量绘制出通信次数均信道容量曲线
完成机信道接入进行Q学信道选择算法实验首先Q迭代函数R回报函数接入概率函数进行联系学结果通回报影响决策优化决策策略算法应首先算法项参数进行初始话保证实验开始时回报函数Q值函数均处初始状态样保证开始信道选择处机选择状态然回报函数通信模型进行联系样环境反馈智体联系起通Q值迭代公式（3）获新Q值影响决策通系统均信道容量结果进行衡量分析假学系统均信道容量提升说明Q学信道选择算法效优化信道选择程假学系统均信道容量均接入致甚低均接入方法说明实验存问题需考虑优化算法者寻找解决方法终出结讨算法行性性
32算法流程
（1） 初始化：设定N阶方阵元素全0矩阵设置Q迭代公式中折现子（折现子越学越考虑未奖惩立奖赏影响会较）设置学程中初始退火温度终退火温度通机先择起始动作选择状态作起点
（2） 通Boltzmann学规通条件概率函数选择动作信道进行访问动作执行时需通侦听信道判断目标信道否处空闲处空闲状态接入信道处忙碌状态反馈回报0重新选择接入策略
（3） 接入信道进行信道传输果接受端未收信号回报零需更新选择策略果接收端成功接受信号会成功获回报通回报函数计算奖赏值
（4） 智体通回报函数计算R值记录值矩阵Q值迭代公式更新Q矩阵
（5） 完成Q值迭代退火温度进行衰减操作
（6） 求Q值衰减退火温度回代概率函数中达更新选择策略目
（7） 进入状态返回程（2）直迭代完成
图5 Q学算法算法流程
列出Q学算法描述：
Initialize arbitrarily
Repeat(for each episode)
Initialize s
Repeat(for each step of episode)
Choose a from s using policy derived from Q(eggreedy)
Take action aobserve rs’
Until s is terminal
33仿真程
次实验做学机制适户间处环境明信道条件解情况便探求提出算法否效行通信环境进行理想化假设通设定组户户间供选择信道77信道负载量信噪表1示信道信噪通预设进行确定假设条信道信道带宽B1Q迭代公式中折现子09折现子设定值较高学目标着重未回报减少立回报影响起始退火温度设定衰减速率折现子数值通指数衰减形式衰减值终退火温度仿真原理利蒙特卡洛方法首先未学时户认机接入复合条件信道中样系统1000次通信中均信道容量会趋条信道均信道容量完成机信道选择程进行Q学信道选择开始学时初始退火温度较动作决策作机选择着通信次数增加Q值矩阵断迭代退火温度减逐渐影响概率函数学达收敛时系统均信道容量收敛值时均信道容量值会接优信道信道容量
户间信道通信具复杂环境干扰户占信道目标探求Q学指导信道选择策略行性进行通信环境模拟时候许复杂变量做理想化处理假设次通信组发送接受端忽略户通信造成信道占现象信道侦听程中信道默认处空闲状态信道信噪通理想化处理信道应固定信噪样相稳定环境学效率会提高更加直观观察学带影响
信道1
信道2
信道3
信道4
信道5
信道6
信道7
负载量
090
088
045
044
023
043
021
信噪
20
12
13
9
18
8
12
表1 模拟通信环境信道参数
4 结果分析
41数分析
通matlab模型建设算法编写图示结果没通强化学进行信道机选择程中系统1000次模拟通信均信道容量7条信道均信道容量致相等前次通信程中样数目较少呈现出规律散乱分部进行次数增机接入方法均信道容量逐渐稳定均值通机接入方式进行信道选择法充分效利目前效信道进行信息交流样传输速率受限制增通信耗
Q学机制信道选择策略出学刚开始时结果机接入样呈现出种机信道接入造成种结果原学开始时关注探索程利回报函数进行决策优化程退火温度值较Q学影响信道接入概率函数权重智机作出动作决策时基作机选择呈现出机选择效果定次数学Q值矩阵影响越越信道接入策略会逐渐优化决策方收敛图6示稳定通信环境户会优先选择信噪信道进行通信户均信道容量会提高信息传输速率吞吐率等方面会定改进充分利信道资源通实践调度更节约信道资源
通信道接入次数发现机接入模式条信道接入机会致相图7示系统请求接入信道时会考虑信道信道容量会机选取信道进行信息传输次信息传输系统通信均信道容量然会趋信道容量均值
相通Q学信道接入算法优化信道接入信道容量两条次数明显增加信道容量低条信道少接入图8示里信道1信道5着相信噪信道学两信道较接入概率充分表现出信道选择策略优化极提高系统通信均信道容量传输效率传输质量提升降低耗
图6 两种接入方式均信道容量
图7 机接入方式信道接入次数
图8 Q学信道接入算法吓信道接入次数
42实验中存问题行性
实验构建较简单单单户信息传输程建立系统模型十分稳定通信系统实际现实工程应时信道信噪信道带宽负载量影响信息传输重素参数没办法实验样恒定参数次通信外界环境会较变化学算法中探索利关系会变更加复杂通学改善决策前优策略环境变化动作带选择已优秀选择智机重新探索改善累计奖赏构建动态规划探索利间权重显尤重
然现实环境千变万化通Q学信道接入选择策略定程度优化决策策略通验提前判断接入优路径会学概率分部函数接入信道进行选择环境变化通信条件极提高传输速率传输速率提高客户端需消耗资源然会节省
次实验实验结果提升效率十分明显环境稳定信道数目较少造成信道数目较环境变化条件通增加探索时间改进回报函数解决单组户间通信节问题组户交叉通信问题中户动作空间状态空间映射数量极增加学复杂度次研究法深入探索该方法户间通信节问题探究
5结束语
文研究客户端基学算法节问题通信信道接入方面作出优化目前通设定玻尔兹曼机利神网络方式实现信道选择研究方法进行改进利强化学算法通环境反馈回报值优化玻尔兹曼机中概率函数终改变决策策略客户端效提高接入优信道概率提升通信系统均信道容量加信息传输速率合理运信道资源达节目通仿真结果出客户端通环境断交互中获验进学优化策略效提高客户端接入信道均信道容量文通Q学算法探究面Q学算法探索利折衷问题时通查阅资料引入模拟退火模型定程度解决探索利问题种方式定局限性需相稳定环境达终退火温度学算法着重利探索会欠缺环境改变需重新探索方法受限点文研究针单客户端通信程面复杂通信时种学策略行性研究
6参考文献
[1]赵彪 李鸥 栾红志 Q学算法机会频谱接入信道选择中应[J] 信号处理2014
[2]张凯李鸥杨白薇 基Qlearning机会频谱接入信道选择算法[J] 计算机应研究2013
[3]张士兵 王惠建 邹丽 基POMDP模型分布式机会频谱接入算法[J] 南京邮电学学报（然科学版）
[4]彭晓东 肖立民 钟晓峰 周世东 基信道质量信息机会频谱接入策略[J] 清华学学报（然科学版）
[5]张兆城 杨震 基联盟认知线电机会频谱接入[J] 南京邮电学学报（然科学版）
[6]叶芝慧 冯奇 王健 基学策略动态频谱接入信道选择系统性[J] 东南学学报（然科学版）
[7]刘忠 李海红 刘全 强化学算法研究[J] 计算机工程设计
[8]李瑞 强化学算法研究[J] 渝西学院学报（然科学版）
[9]王培屹 浅析强化学算法研究应[J] 科技信息
[10] 陆静 李宝 张英 易娇 庞征斌 种基改进模拟退火算法程序性优化参数搜索算法
[11]KAELBLING L P LITTMNN M L MOORE A W Reinforcement leurningA survey[J]
[12]张汝波 提高强化学速度方法研究[J] 计算机工程应2001
[13]张汝波 强化学理应[M] 哈尔滨哈尔滨工程学出版社2001
[14]童亮陆际联龚建伟 种快速强化学方法研究[J] 北京理工学学报2005
[15] 杨晓燕 杨震 刘善彬 基预测机制认知线电机会频谱接入[J] 重庆邮电学学报（然科学版）2009(1)1419
[16]李娜 李鸥 孙乐 孙武剑 基概率预测动态频谱接入信道选择方法[J] 信息工程学学报
[17]CICHOSZ P Truncating temporal differences On the efficient implementation of TD(λ) for reinforcement learning[J]
[18]MOOR A W ATKESON C G Prioritized sweepingReinforcement learning with less data and less real time[J]
[19]AKYILDIZ I F WONYEOL L VURAN M C A survey on spectrum management in cognitive radio networks[J]
[20] REDDY Y B Detecting primary signals for efficient utilization of spectrum using Qlearning[A]
abstractNow mobile client number increasing the communication channel resources gradually difficult to meet the demand this paper adopts a channel selection algorithm based on the Q learning through the establishment of point to point communication channel between the user model and to establish a reasonable return function makes the smartphone can improve behavioral decision through summing up experience then makes the final can get the choice of the optimal decision By simulation results that the algorithm can effectively improve the average user access channel channel capacity by expanding the channel of the average capacity improve the information transmission rate to make full use of good channel the effect of channel resources saving
key wordschannel selection Q learning energy saving problem
文档香网(httpswwwxiangdangnet)户传
《香当网》用户分享的内容，不代表《香当网》观点或立场，请自行判断内容的真实性和可靠性！
该内容是文档的文本内容，更好的格式请下载文档
