今天给各位分享能提升家庭幸福感的小学生学习好物推荐(2021)的知识，其中也会对能提升家庭幸福感的小学生学习好物推荐(2021)进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！
能提升家庭幸福感的小学生学习好物推荐(2021)的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于能提升家庭幸福感的小学生学习好物推荐(2021)、能提升家庭幸福感的小学生学习好物推荐(2021)的信息别忘了在本站进行查找喔。
本文导读目录：
3、线性self-attention的漫漫探索路（1）---稀疏Attention
“冰雪+”题材成综艺热门 热点资讯：双奥点燃了全国民众的运动和竞技热情，也成为各平台争相挖掘的宝矿，体育题材综艺在2021年迎来爆发性增长。尤其2022年北京冬奥会进入倒计时，一波新的冰雪热潮正在袭来。毫无疑问，2022开年的体育综艺，先从冬奥热点开始。多档冰雪类综艺应景而出，进入大众视野。 广电解读：面对冬奥这道冰雪命题，各平台综艺节目都希望跳脱出“蹭热点、应景之作”的质疑，在独到和创新之处下真功夫、苦功夫。不同于大众常见的竞技运动，冬奥的竞技项目专注于冰雪类，更为小众化，且难以突破时空条件的束缚，冰雪运动突破圈层，走向大众并非易事，这极为考验节目制作团队的能力。 1、“冰雪+”综艺赛道，迎来小爆发。各大卫视与视频网站刮起一阵冰雪旋风。《跟着冠军去滑雪》《冰雪正当燃》《冠军对冠军》《冬梦之约2》都正在各大卫视热播，北京卫视、东方卫视、浙江卫视、江苏卫视、东南卫视一个不落。视频网站，优爱腾芒也都不遗余力，积极携手各大卫视围绕冬奥主题做出节目布局，上述提到的多部综艺都是台网双播，同时《超有趣滑雪大会》《雪地里撒野的朋友们》等自制综艺密集上新。 2、探索体育和娱乐的“最大公约数”。一直以来，对于体育综艺，最大的难题无疑就是，在自身题材高度垂直的前提下，如何平衡节目的娱乐性和专业性。娱乐明星+专业运动员是一套万能公式，前者为节目带来流量与人气，冲破受众局限性；后者实现“专业对口”，达到专业性的最大发挥。如东方卫视推出跨项对抗体育真人秀《冠军对冠军》，既有又有中国男子短道速滑历史上第二位男子全能冠军韩天宇、男子200米亚洲纪录保持者谢震业，还有赵文卓、孟鹤堂、于朦胧等演员和爱豆组成的“冠军护卫队”，通过跨项比拼与冠军们共同呈现体育魅力。 模拟预测：论述题——如何看待东奥背景下的冰雪综艺扎堆盛况？ 参考资讯：传媒圈——“冰雪+”综艺，求解体育和娱乐的最大公约数1.2亿人微信视频号“竖屏看春晚”！ 热点资讯：中央广播电视总台《2022年春节联欢晚会》首次尝试在微信视频号上进行竖屏直播，带来全新的样式突破和玩法探索。观众不用跨APP，只需一键点击就能跟亲友分享精彩的春晚节目，享受“人更大、距离更近、更沉浸，甚至微表情都不放过”的特别版春晚。在看节目的同时，还能发朋友圈、发状态、发老虎表情包，和亲友一起边看春晚边拜年，突破时空距离，共享欢乐时刻。作为“竖屏看春晚”独家合作平台，截至春晚直播开场前，累计超过195万人在视频号预约了直播。除夕当晚，超过1.2亿人在微信视频号“竖屏看春晚”，同时直播间点赞数超过3.5亿次，总评论数超过919万次，总转发数超过551万次，赢得一众好评。 模拟预测：论述题——竖屏看春晚将为观众带来哪些新体验？媒体如何实现跨屏融合，打造现象级节目？ 参考资讯：广电独家——1.2亿人微信视频号“竖屏看春晚”！冬奥报道破圈传播 热点资讯：2月20日，2022北京冬奥会正式闭幕，中国代表团共获得9金4银2铜，以刷新历史金牌、奖牌总数的成绩收官。从“数字雪花”的创意破圈，8K全景赛事直播的“新视界”，到诗意解说的频频热搜，冬奥节目的精彩纷呈，作为中央广播电视总台的5G新媒体平台，冬奥期间央视频以科技、内容、传播创新为引领，积极打造全新视听体验、布局新媒体社交产品、搭建立体化传播矩阵，交出一份精彩的冬奥答卷。 广电解读：创新之处：1、科技创新，凝聚万千雪花。在央视频“数字雪花”的背后，是基于AI、云渲染、区块链等先进技术的支撑。此外，在比赛现场还有子弹时间定格短道速滑混合接力赛的夺冠瞬间；“自由视角”360度捕捉中国队冰壶比赛的精彩瞬间... 2、内容走热，冰雪盛会直抵人心。从开幕式的“东风随春归，发我之上花”到闭幕式的“各美其美，美美与共”的诗意解说与妙语点评；运动员的日常训练和备战故事的讲述；社交板块“央友圈”的精准发力，激励受众热情参与表达对冬奥的真情实感，接地气儿的互动，放大了冬奥宣传声量，让流量变“留量”，提升平台活跃度和用户粘性，同时也拓宽了新型主流社区平台的纵深空间。 3、综合来讲：央视频的“冬奥之旅”，以缤纷多彩的赛事呈现和全新的互动体验，带给观众一段难忘的冬奥时光，是主流媒体拥抱互联网的又一次成功体验。 模拟预测：论述题——如何看待中国向世界交出了一份精彩的冬奥答卷？ 参考资讯：广电时评——冬奥报道破圈传播的“流量密码”丨央视频案例新丽传媒2022年迎来多部精品爆款“开门红” 热点资讯：从深冬时节的《雪中悍刀行》到团圆新春的《这个杀手不太冷静》，再到春暖花开时的《人世间》；从“举家追剧”到“举家观影”，再到“举家落泪”；从腾讯视频2021年度播放总量冠军到不断刷新打破25亿票房，再到爱奇艺站内热度破万……新丽传媒在刚刚开始不久的2022年迎来了当之无愧的“开门红”。 广电解读：1、精品IP勾勒改变时代好故事，如《雪中悍刀行》以“去粗取精”的大思路进行影视化的改编，将每一集都做成“有完整剧情但又保有悬念”的结构，整体故事紧张有序。2、以喜剧为壳探索人性，《这个杀手不太冷静》以一个“普通配角”、典型人物的小故事，在笑点之外探索作品和观众的情感连接。3、守正创新引领行业精品化进阶，如《人世间》所传达的是在苦难中昂扬向上，让观众透过作品领略50年来中国的时代风云和社会变迁，看到特定文化中情感和生活的表达，获得精神和思想上的洗涤与滋养。 综合来讲：新丽传媒的几部好剧既讲好现实故事，关注社会生活，也探索青春表达，寻找多元出路，在尊重创作规律的前提下提出了一系列题材多元化、形式多样化、表达年轻化的探索。 模拟预测：材料分析题——分析新丽传媒2022年迎来的多部精品爆款“开门红” 参考资讯：广电独家——新丽传媒2022年迎来多部精品爆款“开门红”2022两会新媒体报道观察 热点资讯：每年3月召开的全国两会是中国人民政治生活中的重要事件，同时也是各大主流媒体展示融媒新技术、新理念的实践场。2022全国两会报道，以5G、4K、AI、VR/XR/MR等前沿科技为依托，各大主流媒体发掘前沿技术潜力、创新智能互动模式、创新融合报道语态，利用技术助推器提质增效，以更具时代使命与开放包容的姿态展开两会新媒体报道，多样智媒节目、产品成为传播“硬通货”。 广电解读：今年全国两会报道中，融合传播不断创新，形态多样的融媒产品依然是业界关注的焦点。智能创作机器人、5G沉浸式跨屏访谈、真人模型AI虚拟主播、区块链新闻编辑部等前沿技术的运用，让两会报道呈现形式更为丰富。5G技术在今年两会报道现场大显身手。 人民日报集5G智能采访、AI辅助创作、新闻追踪多重本领于一身的“智能创作机器人”惊艳亮相，记者只需戴上一副5G智能眼镜，携带轻便的5G热点，一人便可完成访谈、拍摄、记录等工作。上传两会图文稿件之后，AI就能自主提取关键信息，自动制作视频。“云”报道方式已成为两会融媒报道标配。“云报道”“云访谈”如何推陈出新，也是各大媒体每年两会报道中不断探索创新的方向。新华社推出5G沉浸式多地跨屏访谈，身处北京演播室的新华社记者，可以和代表委员实现“裸眼3D”般的面对面交流。人民网人民视频首次在嘉宾访谈时采用全息影像媒体技术，通过1:1还原，使得与真人等比例大小的“嘉宾”“空降”云客厅，与主持人“坐”到同一张桌前。 全国两会期间，从央媒到地方主流媒体，充分运用多媒体平台，采用新技术手段，不断突破传统媒体发展边界，创新融合传播格局，让两会报道更加鲜活，也为不断推进媒体深度融合进程中传统媒体的全面转型提供了实践样版。 模拟预测：简答题——两会期间媒体报道运用了哪些新科技？赓续优秀传统文化 国潮节目正当时 热点资讯：3月28日，国家广播电视总局发布通知，确定120档节目作为2022年广播电视重点节目，其中《“中国好时节”系列节目》《“中国节日”系列节目》《国韵有新潮》等一系列展现中华优秀传统文化的节目上榜。以传统文化节目为代表的“新国潮”创作，正成为弘扬社会主义核心价值观，生动展现中华文化生命力的重要创作方向，也成为主题节目创新的“新赛道”。 广电解读：从“唐宫夜宴”到“只此青绿”，从“中国节日”到“中国节气”，广电媒体正在以视听语言不断书写中华传统文化的中国式浪漫,不断将中华优秀传统文化的创造性转化和创新性发展推向高潮，并且日益赢得年轻一代的强烈认同，使得主流价值与主流人群的“双主流”创作在文化节目领域得到生动诠释和印证。 1、对接文化需求，赋予优秀传统文化新的时代意义。在多元文化盛行的今天，传统文化更具历史魅力、人文价值和传承热度，是一种被唤醒的、旺盛的文化需求，折射出人民群众对精品文化的渴求与期待。 2、强化创意融合，以新技术激活传统文化新生命力。“艺术+视听”、“国粹+科技”正成为“国潮”节目创新的突破点，也是中华优秀传统文化创造性转化、创新性发展的关键点、发力点，这深刻体现在多元艺术与传统文化的嫁接、舞台表演与电视媒介的融合、视觉影像与现实场景的交错，更体现在现代科技对传统文化的赋能等诸多方面。 3、尊重艺术创作规律，彰显中华文化的审美风范。“国潮”节目不仅要在形式创新上做文章，更要在艺术表达、叙事方式、接受体验等方面进行多元探索和突破，不断挖掘传统文化特征塑造一系列典型形象，从多元角度解读传统文化的思想精髓，以“最恰当”的表达方式彰显中国之美、文化之美。 模拟预测：论述题——如何通过国潮节目赓续优秀传统文化? 参考资讯：国家广电智库——赓续优秀传统文化 国潮节目正当时国家网信办：全面整治劣迹艺人违规复出！ 热点资讯：2022年将开展“清朗·打击网络直播、短视频领域乱象”专项行动，包括（1）全面清理“色、丑、怪、假、俗、赌”等各类违法违规直播和短视频；（2）从严整治激情打赏、高额打赏、诱导打赏、未成年人打赏等行为；（3）坚决遏制借未成年人牟利，通过直播、短视频打造“网红儿童”等侵犯未成年人权益现象；（4）全面整治劣迹艺人违规复出、被封账号违规转世；（5）严惩偷拍跟拍、搭讪骚扰、虚构自杀等各类无底线蹭流量，进行违规变现行为；（6）坚决整治直播间营造虚假人气、虚假带货量，短视频账号营造虚假流量等行为；（7）严厉打击通过炮制低俗情感剧情，收割老年人流量，实施营销诈骗。 广电解读：“近年来，网络直播和短视频发展非常快，出现的问题也不少。短视频和直播，已经成为中国网民普遍选择的休闲娱乐方式，也成为电子商务维度重要的销售渠道。以短视频为例，Questmobile发布的《2021中国移动互联网年度大报告》显示，2021年12月，短视频行业活跃用户9.2亿，同比增长5.5%，月人均使用时长53.2小时。短视频行业总时长占全网总时长25.7%，超过即时通讯，成为占据用户网络时长最长的行业。 本次专项活动将全面清理“色、丑、怪、假、俗、赌”等各类违法违规直播和短视频；从严整治激情打赏、高额打赏、诱导打赏、未成年人打赏等行为；坚决遏制借未成年人牟利，通过直播、短视频打造“网红儿童”等侵犯未成年人权益现象；全面整治劣迹艺人违规复出、被封账号违规转世；严惩偷拍跟拍、搭讪骚扰、虚构自杀等各类无底线蹭流量，进行违规变现行为等。近年来，直播、短视频等领域乱象频出。 央视“3·15”晚会就曝光了聚享互娱传媒公司、华亿播商贸有限公司、亿泰传媒公司存在由男子冒充女主播，诱骗用户刷礼物、打赏，专骗粉丝的行为。有业内人士认为，此次的“清朗”系列专项行动将会对此类违法违规行为进行全面整治，还直播、短视频平台一片“净土”。 模拟预测：论述题——谈谈你对“清朗·打击网络直播、短视频领域乱象”专项行动的看法。抢发新闻，中国民航报就失实消息郑重致歉 热点资讯：2022年3月21号，东方航空一架波音737客机在广西梧州上空失联，目前已确认该飞机坠毁，机上人员已全部遇难。本次事件中，专业媒体最大的乌龙就是中国民航报关于找到第二个黑匣子的报道。3月25日上午10时15分，中国民航报发布消息称，找到MU5735第二部黑匣子，该报道正文中只有两个字“真的”，同时配有七位记者的署名。随即该消息在全网各平台获得大量官方媒体、自媒体、网友转发及跟帖。10点50分，新华社发布“目前还未找到第二部黑匣子，有关消息以指挥部新闻发布会发布消息为准”。新华社辟谣消息引发舆论关注。没过多久，中国民航报就黑匣子失实报道道歉。至此，“媒体报道公信力”成为舆论讨论焦点，新闻可信度受质疑，引发重大负面舆情事故。 广电解读：中国民航及跟帖媒体为追求新闻的时效性，在未得到证实性新闻后盲目发文，缺乏新闻的专业性和规范性。中国民航报的此次事件更是反映出当下一些新闻媒体存在的问题： 1.新闻媒体要始终把新闻的真实性放在首位。为追求时效性，抢热度，新闻媒体发布的“失实消息”不在少数，而此次从中国民航的报道形式我们可以看出，该篇报道言简意赅，标题与内容加起来一共十余字，而署名记者编辑的字数要远超内容本身，极短的标题和内容更是显示出中国民航报的发稿心切，而多位记者编辑的署名则反映出中国民航报对于信息真实性的信心。这不仅让我们对当下的新闻审查机制产生怀疑，对于一手的消息我们不能忽视对其真实性的调查和确认，新闻媒体的内部审查不能做表面工程，这也是衡量新闻工作者是否专业和新闻单位是否规范的重要标准。 2.新闻媒体在灾难报道面前首先是敬畏和尊重。新闻媒体在做灾难新闻要尤为严肃，每一次灾难的出现都会伴随着许多逝去的生命和悲痛的家庭，每一个新闻的发出都牵动着无数家庭的心，而虚假新闻会对遇难的家属造成巨大的影响，如果新闻信息传递的导向是错误的那么很有可能对遇难家属造成二次伤害。所以，对于灾难报道新闻媒体要做到严肃、严谨、敬畏和尊重。 3.新闻媒体的工作失误会降低自身的公信力。新闻媒体对新闻失实的报道很有可能会造成新闻媒体公信力的丧失，引发社会的混乱和恐慌，会加深公众对新闻媒体的不信任感，对新闻媒体的工作产生阻碍，如对公众进行家属采访、原因探究等。 模拟预测：简答题——谈谈你对新闻媒体人应有的职业道德的理解。 参考资讯：青梅空间——新闻媒体对“失实消息”不能道歉了事腾讯视频宣布：会员费上调正式生效 热点资讯：近日，作为长视频行业老大、拥有上亿会员的腾讯视频宣布涨价，包括针对会员非连续套餐将于4月20日零点对腾讯视频VIP和超级影视VIP价格进行调整。根据此次腾讯视频VIP会员价格调整公告中显示，用户最常使用的腾讯视频VIP月卡以及超级影视VIP的多项套餐价格均保持不变，VIP连续包月价格由20元调整为25元、超级影视VIP连续包月价格由30元调整为35元、腾讯视频VIP年卡价格由253元调整为258元。实际上，近两年来，各家视频平台VIP会员都在陆续涨价。仅最近半年，包括爱奇艺、芒果TV、咪咕视频就在去年年底至今年年初的几个月里相继再次提高了会员价格。 广电解读：①涨价早已注定，人口红利消失与用户付费意愿增强双重推动。中国人口红利消失正在悄然主导长视频行业的转型。随着爱奇艺、腾讯视频订阅会员数量先后突破1亿，视频平台用户的高速增长已接近尾声，优爱腾会员付费模式的创新与提价通道就此开启。与此同时，长视频平台逐步培养出了用户的付费习惯，在线视频领域，在经历了物价上涨与通货膨胀，腾讯视频、爱奇艺提价之后的价格其实也不超过一杯普通奶茶的价格。 ②短视频一路夹击、内容生产“烧钱”不止，长视频平台并未脱困。抖音、快手、西瓜视频一路进击，抖音短视频依靠算法平台也抓牢了不少用户的注意力。如今长视频领域流量增长天花板几乎触顶，如何保证自己有的内容别家没有，才是吸引用户的关键。 ③用户规模决定收入多寡，精明的用户只为高品质内容买单。爱优腾的主要收入分为在线广告收入与会员服务收入，而此两种都依赖平台用户数量。用户留存的最主要动因是有优质的独播头部内容，只有精品独播内容，才能维系用户与平台之间的良好关系。影视分众已成行业发展的必然趋势，为更好地实现内容创新，平台将更加关注用户多元需求和创作者的多样性。 ④良心品质+多元盈利模式，试看谁能最终跑通。未来国内头部长视频平台或仍会持续提价，核心在于提升内容质量，以获取更高的付费率，增强用户的付费意愿。而同时还需注重加大对盗版力度的打击，国内民众付费意愿虽然有所增长，但实现全民付费意识的提升依旧是任重而道远，想不被“白嫖”，在抵制盗版这块技术上仍需保持发力。 参考资讯：看电视——接连告别低价时代，长视频平台涨价能否从亏损漩涡中杀出血路？ 《甄嬛传》每年还为乐视赚上千万元！ 热点资讯：《甄嬛传》2011年在电视渠道首播，之后由乐视视频获得网络独家播映权，一经播出，就成为现象级剧集。花儿影视是《甄嬛传》出品方之一，近日，公司创始人敦勇介绍，这部剧平均每年还能为花儿影视带来一千多万元的收益。近些年来，优酷、腾讯、爱奇艺等视频网站都喜欢老剧重播。就此，优酷称：“5年来，优酷共修复了5000多部经典文艺作品，打造出全网最全的高清经典片库，大批国剧精品和电影从旧变新，吸引了大批年轻人。” 广电解读：1、技术赋能：经典老剧被二次盘活：不止是《甄嬛传》，《康熙王朝》《武林外传》《琅琊榜》等长盛不衰的长篇影视剧，都因持久的生命力而备受长视频网站的青睐。对于老剧新放的技术要求，优酷表示，通过特定的技术对老片进行去噪、去隔行、去色偏、去模糊、去划痕、去闪烁、去抖动、高帧率等优化调整，大大提高了用户的视觉体验。这样通过技术赋能艺术，不仅是对内容行业的尊重，也让观众感受更优质的观看体验。有优酷数据显示，和过去只有蓝光1080P入口时购买会员的人数相比，通过HDR和蓝光1080p购买会员的人数增长了四倍。 2、老剧新看背后生意经：其原因离不开“利益”二字。当下很多新剧，因为演员片酬高、制作成本高，导致版权费也极高，视频网站每年的新剧采购数量有限，并不一定能够满足会员的需求。修复老剧，不但可以丰富平台影视剧资源，还会为平台吸引新会员。据了解，一些视频网站上的老剧依然需要会员才能观看，如2002年播出的《东北一家人》，2009年的《仙剑奇侠传3》等。有媒体报道，《流星花园》曾为某视频平台拉50万的新会员。 模拟预测：材料分析题——如何理解“一部《甄嬛传》算是保住了优酷的荣华富贵？” 参考资讯：传媒圈——《甄嬛传》每年还为乐视赚上千万元！微博开启评论区展示IP属地功能，用户无法主动关闭 热点资讯：4月28日，新浪微博社区管理官方微博发布IP属地功能升级公告称：站方于今年3月上线展示用户“IP属地”功能，为进一步保障用户权益、提升用户体验，站方将在此前基础上于4月28日进行产品升级和新功能上线，具体如下：全量开放评论展示发评IP属地小尾巴功能，同时，上线“个人主页一级页面展示IP属地”功能。IP属地功能全面上线在社交平台引起一阵浪潮。继微博、今日头条、抖音、百家号、快手、知乎、小红书后，4月29日，微信也宣布，将在微信公众平台展示用户IP属地，用户暂时无法自主关闭相关展示。有些平台还会在部分评论或回答中显示用户IP属地小尾巴，用户自己无法主动开启或关闭该功能。 广电解读：这种相对统一的工作步骤，显示了相关监管部门在互联网用户身份认证上的进一步强化。这意味着，在实名认证之后，对互联网用户的身份属性，进行了更加严格和精准的划分。IP属性的定位，当然不能全凭一个人的注册信息，各平台是根据运营商IP信息解析来获取属地来源的，其可信度应当具有权威性。1、虚拟世界交互方式已落后于现实需求2、充斥不对称的传播现象。IP属地的功能设置，其目的在于规范互联网平台治理，营造诚实的、风清气正的互联网环境。虽然可能会触动一部分人敏感的神经，但为长远计，是有正面作用的。 模拟预测：论述题——如何看待各大APP开启IP属地功能？ 参考资讯：新京报——IP属地功能上线，做个堂堂正正的互联网人没啥不好互联网陷入全民“考古”狂欢 热点资讯：从去年被网友考古出的“什么是快乐星球”的古早视频，曾经小小模样的马嘉祺因此火爆全网，快乐星球梗也瞬间在全网疯传。到近期，由于07年快男参加了一档名为《欢迎来到蘑菇屋》的综艺，让人们回忆起追快男的青春回忆，在此过程中，人们也挖掘出古早综艺里的新乐趣，例如海清“你是我的神”“我的短发为你而留”等社交尴尬文学，同时互联网也掀起了一股“考古”潮。 广电解读：互联网考古之所以在当下能够引起大家的关注，并演变为一种全民考古狂欢，主要与其行为的价值感和代际对话带来的价值观碰撞有关。1、个体价值与创作狂欢。社交媒体时代，让个体更易于曝光在网络空间，除了传统媒体或大V，普通人可以有机会将自己的发现或者想法传播出去，并赢得广泛的关注。2、代际对话与现代趣味。总体看来，考古视频或者截图内容等具有一定的特殊表现，比方说较为模糊的画质、体现着上一代人的社会文化或者人文风貌，例如比较知名的杀马特发型。 当互联网考古与商业运作相结合，许多影视综艺作品得到机会，重新收获网友关注，而这样的再度走红，也带来了与新剧宣传时完全不同的传播盛况。1、打破作品的“一次性消费”思维。2、重视细节上的隐性宣传资源。 互联网考古，突出了个人价值，让网民重回怀旧记忆，对于影视行业更是带来多层启示。但对于这一话题，我们不得不提的一点是，互联网考古也极易变成“互联网挖坟”（挖黑历史）。这种来自网友集中性的“监视”，一方面给个体、尤其是明星带来隐私上的侵犯，甚至引发网暴现象。另一方面，这也给影视行业的制作底线带来许多警示，例如于正由《当家主母》一部剧的虐待动物事件，就曾被挖出《美人心计》剧组中也出现过类似情况。 参考资讯：文化产业评论——互联网陷入全民“考古”狂欢，是一件好事吗？《守护解放西3》高能开播 热点资讯：截至目前，《守护解放西》全系列在哔哩哔哩播放量已经突破4.5亿，追看人数超过354万。在播放量走高的同时，该系列纪录片也维持了高口碑，第三季豆瓣开播评分达9.0，哔哩哔哩评分9.8。 广电解读：在短视频冲击下，长视频内容声量整体走弱成为近年来业界关注的焦点之一。在这样的大环境下，《守护解放西》的逆势上扬尤其值得关注。这档题材小众、无明星引流的纪录片缘何以能够破圈，甚至一季比一季火？1、映射出“真实的倒影”年轻化的表达方式是《守护解放西》系列纪录片的创作特征之一。2、故事背后的价值引领。罗翔的加入是《守护解放西3》的一大看点。创作团队希望观众看完这三季之后，大家能对这个世界的真实多一点清醒，对警察的真实多一点理解，对法律的真实多一点敬畏。3、“人间真实”是创作背后的敬畏心。《守护解放西》不仅仅是案件的记录，更是对人性的审视。对于真实和法律的敬畏心是《守护解放西》团队心中的一把尺，保证了节目持续的品质输出，也守住了文艺创作专业化、精品化的生命线。 模拟预测：材料分析题——如何让看待《守护解放西》让观众如此上头? 参考资讯：广电独家——《守护解放西》——“N代”纪录片的创新启示录中央一号文件对县级融媒体中心提要求 热点资讯：近日，2022年中央一号文件发布，对县级融媒体中心提出新要求：创新农村精神文明建设有效平台载体。依托新时代文明实践中心、县级融媒体中心等平台开展对象化分众化宣传教育，弘扬和践行社会主义核心价值观。 广电解读：进入新发展阶段，聚焦高质量发展要求，共同富裕、乡村振兴等重要战略部署进一步为县级融媒体中心建设提出了新目标、新任务、新要求，对此，县级融媒体中心建设应树立精品意识，打造优质内容生态。 面对新传播格局下的信息冗余、低俗劣质内容传播等问题，县级融媒体中心应①不断强化自身主流媒体定位，创作精品，弘扬主旋律，传播正能量，切实巩固壮大基层主流思想。②依托本地优势，提升公共服务水平。县级融媒体中心应加快拓展“新闻+政务”“新闻+服务”等相关业务，发挥好在公共服务方面的本地化优势和资源整合优势，进一步强化大局意识，主动参与、深度赋能县域社会治理，发挥好中介、载体和工具作用。③强化技术赋能，加快融合转型升级。县级融媒体中心建设应坚持瞄准媒体融合前沿，把握媒体行业发展动态先机，加快推进新兴技术在县级融媒体中心建设实践中的创新应用，强化技术对融媒体平台、产品、服务、交互等方面的支撑与赋能。④探索多元经营，增强自身造血能力。县级融媒体中心应进一步强化互联跨界思维，以平台化转型为抓手，打通不同行业、领域、组织间的隔阂与壁垒，同时,警惕多元化经营对媒体公信力带来的消解风险，严防过度追求经济效益而弱化社会效益。 模拟预测：论述题——县级融媒体如何快速跟上时代步伐？ 参考资讯：中国网信杂志——县级融媒体中心建设如何推进？中央一号文件提出新要求《11点睡吧》：快手综艺如何实现温暖“多一度”？ 热点资讯：当短视频逐渐成为伴随人们日常生活的新视听形式，发力新赛道成为视频平台巩固自身发展的题中之义。如何利用好技术、形态和流量优势实现差异化的“长综艺”内容创新？近日，快手平台推出的《11点睡吧》回应了这个问题。作为全网首档明星“劝睡”综艺，《11点睡吧》给全民带来呼唤健康的“睡前故事”，体现出快手自制综艺独特的“人文温度”。 广电解读：1、《11点睡吧》并非寻常意义上的“综艺节目”，而是注入短视频直播体验的综艺创新，无疑将为短视频平台的长综艺模式创新带来开创性价值。通过直播元素的加成，节目中明星与粉丝互动沟通，体现出短视频平台所特有的“强互动”价值。 2、多直播间分屏实现小屏幕的“大容量”特色,《11点睡吧》在节目形态上采用了“1+4”模式——以1个主直播间作为挑战者观察间，而在4个子直播间中，明星们在各自空间内自由发挥，在挑战的同时，展露出各位明星嘉宾们走下舞台、回归日常生活的一面。 3、《11点睡吧》除有依托技术及短视频媒介特色的形态创新，更体现了快手平台关注当代社会生活的温暖初心。在节目创作竞相追逐关注度、话题度的当下，时刻彰显人文“温度”成为快手平台内容创新的特长之一。 模拟预测：论述题——如何看待”劝睡综艺”? 参考资讯：广电独家——《11点睡吧》：快手综艺如何实现温暖“多一度”？ #回见#【木铎考研】 家里有小孩的，为了让孩子有个好的学习环境，能够安心，专注的学习。只要是觉得对学习好的，买买买已经是常规操作吧！我家也不例外，特别是前段9月初开学又更新了一次，算是结束了一次里程碑。把最近更新过的家里学习好物清单分享给大家！都是能帮助孩子和家长的实用好物！供有同样需求的参考，如果大家还有更好的欢迎推荐:（因为文章相对较长，有整理成一个表格放文章最后，可以直接拖过去看）学习好物导图 现象: 1. 做作业拖拖拉拉，永远不着急，慢得可怕 2. 小孩只是一味对着书本发呆走神，浪费时间 3. 本来交给他A任务，然后注意力永远在其他东西上 有同款小孩没？我家小孩就是这样。如果是非同款小孩，好幸福！能分享下经验吗？有朋友介绍了他家的成功经验，通过一个30分钟的沙漏来培训他的时间观念。他家的小朋友很成功。我家的羡慕得哗哗的流口水，当时就去买了一个。 可惜出师不利，用了三天后，一切照旧。 已堆在角落的沙漏（据我观察，沙漏幼稚园或一二年级可能最有效，再大...嗯）： 直到去年，抱着试试的态度弄了个自律时钟情况才有所改变。使用过后，虽然没期望中像非常厉害的学霸那样的自律（感觉我家的根本不可能，不现实），但有一点，在一段时间内的专注力明显有提升。已经很快乐了，要想想连大人要做到非常自律都很难的。 买的自律时钟长这样: 自律时钟怎么用？ 一堆一翻，就开始计时,非常方便。但大人刚开始一定要参与引导，先明确这次要完成的学习任务是什么？多长时间内必须完成！没完成前不可以弄别的事。这个多长时间多给他点空间，好让他先有正反馈。然后用这个自律时钟设好时间。可能先要坚持一段时间，等他明白新的学习规则下，时间管理的重要性就会好很多了。 再分析下，其实自律时钟真正核心解决的问题: 在[X时间]在[X地点]做[X事] 一些小心得: 1. 为什么不用手机上的时间管理app？ 要知道大人都会放不下手机的，别说小孩了，刷着刷着时间就没了。在功课时间，沾都不要让他沾手机。那些家里不用的，不能上网的二手手机，电话手表闹钟这些也一样没啥用。目前至少我这边看，只有这种功能纯粹的硬件产品最有效。原理没细究，对比下来就是有效，也不知道为什么。 2.保持桌面简洁 小孩桌子上在做功课或背书时，桌面除了必要的，其它全收起来或搬走。尽量搞得干干净净,这样他就没啥好玩的了。如果一定要放，可以放个地球仪之类，也可买些带科学或物理知识的小玩具，总之多少带点知识的。 3.还有一招狠的，站立做功课 在做特定功课期间，把凳子给抽了，让他站立着。也有助于更专注。不用担心身体问题。看看现在好多人都推崇在公司站立办公，小孩也没事的。 在学习辅导这事上，家长烦心的事情很多。但如果家里没打印机，打印资料这事肯定没少头疼操心！对家长来说，应当排在必备品中的第一位，不管附近的打印店有多近，还是公司就有现成的打印机。 原因如下: 1. 在外面打印低效且磨人 没有打印机，你可能会无数次因为一个表格要复印，一份资料要打印奔波在小区与打印店之间。特别是如果店已关门，而着急用的时候比较抓瞎。而且辛苦打印回来的东西，有可能二三下就被小孩不小心毁了! 心态直接炸裂！ 2. 隐私问题 先不说外面1元一张的价格。每次都必须要把文件传输给店主，会存在隐私泄露问题，特别是个人相关的资料。 3.学习效率 出现错题，整理错题，立马重新打印复习，是非常有效果的学习方式之一。打印自由。如果要去外面打，就变味了，先不说学习效果因为延迟会受影响，不整理好几个就觉得去一次划不来。 如果手抄？ 呵，勤快的可以试试，我家的勇敢尝试过。最后说，家里有打印机真香。 哈哈，笑出了声！ 市场上家用打印机有几类: A. HP、爱普生、佳能等老牌功能比较齐全的打印机。 B. 瞄瞄机之类针对错题下了功夫的打印机 C. 手持A4便携式打印机，汉印之类突出照片打印功能的打印机等 先说B,C类(个人看法)： 从使用场景来说，适合经常有全家去旅行、远游访友、甚至学生宿舍之类地方。因为这些地方更适合手机无线打印，携带方便。 A类： 强烈推荐在家买一个功能全点，颜值高点，不要太占地方的打印机。 因为工作以为接触的打印机普通是HP,个人买了个HP打印机，使用效果很不错。 推荐几款供参考： 其实不要太担心耗材太贵，日常维护等等。就家里的打印量基本上不是啥问题。与之相比带来的效率提升。嗯，真的不要太方便。 然后只推荐打印、复印、照片打印、彩色打印等都支持的，不建议纯打印了。为什么？ 1. 那是你不知道，小孩做题，错题一错再错。你不让他做了又做。后面考试结果出来只能拍大腿来一句，我以为我会了！ 要是当时复印一张再考一次可能就不会了。 所以小技巧，整理好的试卷或题目等考试前先复印下！让他合复印的做。 2. 支持彩色且照片打印，能创造多少乐趣出来，你是想不到的，哈！ 阅读架: 知道之前最烦我家小孩哪些点吗？ 1. 他的书本永远都是在卷角中！ 甚至手痒一样会拿手去搓，显得书很旧，很难看。 2. 要么就是把课本、试卷、参考书叠了又叠，移了又移。永远没有焦点! 3. 平铺着抄写时，字写的难看不说，那脖子伸来伸去样子很烦! 阅读架绝对是最好的解决方案之一! 阅读架就是告诉你:"看我，看我，不要看别的，就看我! 翻我，翻我，但别压着我！正常姿式看，正常姿式看，别变长颈鹿！". 如果买的桌子有自带的最方便，如果没强烈建议买一个！ 推荐 "Sysmax阅读架"（我家用的这个）Sysmax阅读架 喜欢大阅读架的，可选"韩国NICE阅读架" 有两层大空间，且两层都可以用来夹书、放笔记本等。然后高度档位是按需可调节,能很灵活的调到小孩最舒服的学习姿式。韩国NICE阅读架 1. 儿童耳机 现在多少都要上网课，而且一节网课至少40分钟。如果这期间耳机声音被调过高，有可能会对听力造成严重损害。所以不要图方便让小孩直接用大人的耳机，最好能配置一个合适的儿童耳机。 2. 护眼灯 灯有多重要？ 通常晚上即使开启了室内灯光，桌面上学习的亮度依然是不够的。如果没有一个台灯来辅助照明，长时间的学习阅读会造成眼睛疲劳。引用 李玲教授团队2021年6月发布的《信息化时代儿童青少年近视防控报告》数据显示. 2021年，我国儿童青少年近视的患病率已超50%，未来在全人口中至少有9.6亿近视人口。 我国6岁儿童的近视率达14.5%，小学生近视率也有36%，而高三学生中高度近视（近视度数高于600度）在近视总人数当中占比已经达到21.9%。 保护视力，要从孩子抓起。舒适的护眼灯简直是防近视必备，要认真挑选。 要是价格不敏感的话，个人首推明基的智能护眼台灯 (WiT)，明基WiT是非常适合儿童使用的一种台灯。主打智能阅读护眼，极低的闪烁指数，欧盟认证的抗蓝光，一千多的售价贵有贵的道理，它在光处理上是扛扛的。相比其它功能繁多的灯，它是一个极致单品。 比如打开屏幕阅读模式后，它的自动灯光感应模式，能在夜晚自动给出一个舒服的暖色温。智能书本模式也特别好用，在打开灯后，色温和亮度会自动完成。这样就可以放心让孩子单独写作业，省掉了每次都要调的麻烦。 如果价格敏感，如米家LED智能台灯1S(百元左右)之类都可以，但真的不要忽视台灯的作用。 另外的有一些智能作业灯之类产品，没有用过。但看介绍，好像把台灯这事搞得有点太复杂了。就像我以前研发过的一些系统，事后看80%的功能其实是很少用的鸡肋。不怕千招会，就怕一招绝，个人认为以目前的技术成熟度，台灯把护眼做到极致就够了。功能太多，反而有可能分散小孩注意力。但没实际用过，也许看法是错的。 3. 桌子 家长经常要辅导孩子的，太窄的单人桌坐不下，资料也摆不开。至少130cm或以上的桌子才合适。然后小孩身高长得飞快，要挑一张可以慢慢陪着他长大的桌子，可升降功能是必需的。儿童身高与桌面高度比归表(仅供参考) 乐歌EC1电动升降学习桌 这个桌子有个儿童锁(同时按住上升键和下降键3秒，就会锁住升降桌)功能，可以有效防止家里的捣蛋鬼升降着玩，因为它是电动升降的。乐歌还有一种EC2会多个书架，看个喜欢吧，我觉得有时占地方反而限制了发挥。 如果偏好手摇升降，实木系，然后桌椅搭配统一漂亮，也可以选Faroro 儿童学习桌 (实木系)。 舒乐氏桌面暖风机 冬天时用暧风，天气闷热时可以用它吹凉风。上下风可调节不会对脸吹。这个功能对于湖南湖北这类冬天很冷又没有暖器的地方，简直是神器！这边冬天日常的取暧烤火烤箱主要是暧脚，有了这个暖风机放桌子上暖手，孩子在冬天一定会爱上坐在桌子前做功课的那种温暖。 4. 单扛(门上单杠) 买门上单扛真是实用又不占地方的好东西！ 将好门上单杠后，每天小孩可以拉一拉做一做引体向上，科学上有统计，单杠运行可以拉伸四肢，刺激下肢生长，有增长的作用。 再就是体育以后要和主科同分了，还不抓紧。 承重360斤,泡棉手柄，握感舒服。 还有一种做法，将其安装在靠近地面的地方，这样脚可以靠过去，辅助做仰卧起坐。但这种要看家里有没有合适的地方。 5. 跳绳研究发现只要每天跳绳30分钟连续跳20周就能比对照组同龄身高长高1.5厘米。跳绳时跳的越高越好，最好在每分钟120次左右的频率较为适合。下午3-6点这个时间段运动助长效果最好。 坐姿矫正器 坐姿矫正器在学校配了，家里装的是 猫太子坐姿矫正器。这个至少小学阶段必备。 必备学习好物清单：分类推荐价格备选自律时钟莱贝自律计时器24.9家用打印机HP989阅读架SYSMAX阅读架139韩国NICE阅读架儿童耳机JBL349护眼灯明基WiT1549学习桌乐歌EC11236桌子可搭配一个舒乐氏桌面暖风机（适合天冷没暖气的地方）门上单扛JD自造99跳绳得力15.4坐姿矫正器猫太子49 每家情况不一样，以上供参考。 愿各个家里小孩都如愿成学霸！已是学霸的成为学神！已是学神的...额,成为资深学神！ 会依情况继续更新 @白鹿猫余 前言：Self-Attention机制因为预训练模型在NLP,CV,推荐系统,蛋白质领域在下游任务上巨大的效果提升而引人瞩目，但是又因为其的 的时间和空间复杂度而让人头疼，如何加速并且减少显存占用成了关注的焦点，文章会解读一下大家在解决self-attention机制中的复杂度问题提出的解决方法。王辉分享一些有趣的论文相关内容会系统更新在github内https://github.com/WangHuiNEU/Transformer_Knowlegdeself-attention 机制 self-attention（默认都是乘性attention Scaled-Dot Attention，下面参考见加性attention）: 输入向量经过linear得到Q,K和V； 得到（seq_len,seq_len）的方阵，在行上做softmax得到相似度矩阵（similarity matrix）(在做softmax之前有一个scale的操作）。相似度矩阵和Value相乘2，得到attention之后的输出向量。公式表示就是大家熟知的：NOTE:多头注意力机制可以帮助模型从不同的视角理解数据self-attention 中 positional encoding，最初是sin，cos的相对位置编码，但是实际上通过各种操作之后这种位置编码就乱了，后续有各种延伸的绝对位置编码等。这里softmax是不是可以换成其他的形式：可以参考线性Attention的探索：Attention必须有个Softmax吗？ - 科学空间|Scientific Spaces 设定 的维度为 ,词向量维度为,时间复杂度为 ,显存占用也是 ，因此，如何序列长度翻倍，时间复杂度和显存占用就是平方级的增加，时间复杂度尚且可以不太重视，但是训练模型平方级别的显存占用就让人不得不充实这件事情，因此，对于一些Pretrained language model都设定max sequence length对于长序列进行截断。 对于这种情况，目前主流有两种解决办法： 模型并行技术：将网络框架切分为多个阶段，分发到不同的计算设备上，以“接力”的方式完成模型训练。 流水并行技术：将任务划分为几个有明确先后顺序的阶段，每一个阶段分给不同计算设备。 微软提出ZERO-DP的方式，后续提出了ZERO-infinity技术；16年陈天奇提出线性内存优化“gradient/activation checkpointing” 技术，旨在系统性减少深度学习训练中的内存占用，核心在于 “以时间换空间”，也可以大幅降低显存占用。后续，还有微软的DeepSpeed技术，NVIDIA的Megatron技术。谷歌的Transformer-XL技术。 当然还有算子优化，1F1B 策略，梯度累加，FP16,INT8半精度优化等（PyTorch在1.6之后加入了半精度优化Gemfield：PyTorch的自动混合精度（AMP））DeepMind训练AlphaFold2使用了gradient checkpoing技术；值得关注的是，现在国内有很多敢为人先的公司直接自己做深度模型训练框架，一流科技的oneflow，百度Paddle，华为的MindSpore，现在都在搭建生态中。后续如果有工作涉及到模型训练加速方面会详细讲解分布式模型训练技术和内容。Transformer-XLKimi Young 的 github源码：https://github.com/kimiyoung/transformer-xlhuggingFace 的实现：https://huggingface.co/transformers/model_doc/transformerxl.html 稀疏注意力的第一篇文章是OpenAI 19年4月的《Generating Long Sequences with Sparse Transformers》https://arxiv.org/abs/1904.10509 大家最容易想到的是每一个元素跳着求和其他元素的相关性，例如只和第k,2k,3k,4k的元素求。这里把这种方法叫做Atrous self attention(空洞自注意力）Atrous self attention(空洞自注意力） 但是，大家一般的解决方式是local self-attention，例子可以见下面的image transformerhttps://arxiv.org/pdf/1802.05751.pdflocal self-attention OpenAI引入了Sparse self-attention，把两者结合在一块，既可以学习到局部的特性，又可以学习到远程稀疏的相关性。官方代码：https://github.com/openai/sparse_attention苏剑林代码：https://github.com/bojone/attention/blob/master/attention_keras.py作者：赵光香https://arxiv.org/pdf/1912.11637.pdf 如果说openai是按照设定的固定规则选择关注那几个元素，这篇论文sparse transformer 显示选择模型的注意力程度。 方法直接了当：通过Q和K生成相关性分数P，然后在P上选择最大的相关性元素即可。 Allen Institute for Artificial Intelligence(AI2)Longformer: The Long-Document Transformer 相对于原本的attention 作者在这里提出了三种不同形式的sliding window去提取计算注意力的元素local self-attention (sliding window attention) 计算局部注意力Dilated sliding window 类似与CNN中的空洞卷积https://www.pianshen.com/article/4552301946/ 使得元素关注于较长距离的元素Global attention(全局注意力） 对于一些元素，例如QA，需要从距离很长的序列中抽取，因此，在一些预先选择的位置添加了Global atention https://arxiv.org/abs/2001.04451https://github.com/google/trax/tree/master/trax/models/reformerPhil Wang 训练的 PyTorch 版 https://github.com/lucidrains/reformer-pytorch 我们发现上述几个模型都是事先指定关注那几个元素，太主观；但是我们发现，softmax之后我们关注值最大的前几个元素即可，这篇论文通过Locality sensitive hashing（LSH)方法将attention score相近的分到一个bucket中，因为我们经过softmax之后，一个 query 和其他的所有的token的计算 attention score主要是取决于高相似度的几个tokens，所以采用这种方式将近似算得最终的attention score。 局部敏感哈希，是一类将高维向量映射到一组离散值（桶/聚类簇）上的方法。在大多数情况下，它被用作一种近似的最近邻搜索方法。 Reformer 的作者针对注意力操作的键向量和查询向量使用了一种单一投影，他们使用了一种基于随机旋转的局部敏感哈希方法，将共享的键/查询聚集到至多几百个词例的桶。哈希方法的示意图如下：角度局部敏感哈希算法示意图。图中显示了三轮哈希，每轮哈希中将空间分成了 4 个桶。在下面一排示意图的三轮哈希中中，向量都被映射到了同一个桶中，因为它们在输入中也相近；而在上面一排的第一次哈希和第三次哈希中，向量映射到了不同的桶中。 计算了每个桶中的注意力矩阵，并对相应的值进行加权。由于它们只能注意到给定的中的元素，当选取的桶大小合适时，这样做可以将注意力操作的整体空间复杂度从 降低到 由于这里的分桶（bucketing）处理是随机并且基于随机旋转的，他们计算了若干次哈希，从而保证具有相近的「键-查询」嵌入的词例最终很有可能被分在同一个桶中。 通过LSH的方法近似的快速找到最大的topk的值。并且Reformer构造了可逆的Feedforward Nateork来替换掉原来的Feedforward Network，降低了显存占用。 什么都好，就是实现起来太麻烦！ Linformer: Self-Attention with Linear Complexity代码：GitHub - tatp22/linformer-pytorch: My take on a practical implementation of Linformer for Pytorch. 论文中首先用实验证明了 Transformer 的 Attention 矩阵是低秩矩阵。作者使用 RoBERTa-base (12 层 Transformer) 和 RoBERTa-large (24 层 Transformer) 在语言模型和文本分类两个任务上进行训练，并对每一层和每一个 Attention 头得到的 Attention 矩阵 P 进行奇异值分解 SVD。下图记录了奇异值归一化后的累计百分比。Attention 矩阵 SVD 分解 从上图可以看到一个长尾分布，这说明了矩阵 P 大部分的内容可以通过少部分最大的奇异值得到。作者也对比了 Transformer 不同层的奇异值累计百分比 (只用了最大的 128 个奇异值)，如下图所示，可以看到，层级越高，会有越多的信息集中在最大的奇异值上。不同层的奇异值累计热力图 Linformer 对 Self-Attention 的结构进行了一些修改，使复杂度降到线性，修改后的 Self-Attention 结构如下图所示，主要的区别在于增加了两个线性映射层 (用矩阵 E 和 F 表示)。 线性映射层 E 和 F 维度是 k×n，原来计算得到的 KW 矩阵维度是 n×d，通过新增的两个线性映射层可以把其转为 k×d 的矩阵，如下图所示。线性映射层 因此得到的 Attention 矩阵 P 维度是 n×k，新结构的 Self-Attention 计算公式如下 上面的计算方法需要 O(nk) 的时间和空间复杂度，如果让映射维度 k 远远小于 n，则复杂度就相当于线性的了。可以证明，当 k=(d/ε^2) 时可以获得误差不超过 ε 的结果，论文中给出了证明结果。 苏剑林评价：认为“对于超长序列m可以保持不变”这个结论是值得质疑的，对于长序列原论文只做了MLM任务，而很明显MLM并不那么需要长程依赖，所以这个实验没什么说服力。因此，Linformer是不是真的Linear，还有待商榷。除夕 评价：理论上去看，固定了k后，复杂度虽然是O(n)，但实际用的k取值为128或256，与下游任务的n差别不大。增益效果不明显。最后论文列出的加速表格只在超长序列中有优势，但却没给出在超长序列上的进一步实验论证。就有种事情做到一半，没做完的感觉。如果论文作者能在图像、超长文本序列中做更详尽的实验，比较当n很大的时候，k取值的变化对 Performance 的影响，这篇论文的结果才会更牢靠一些。https://arxiv.org/abs/2009.14794《Rethinking Attention with Performers》 论文代码：https://github.com/google-resea 之前的注意力机制中，对应矩阵行与列的 query 和 key 相乘，再通过 softmax 计算出注意力得分矩阵。但是这种方法，不能将query-key传递到非线性 softmax 操作之后的结果分解回原来的key和query，但是可以将注意力矩阵分解为原始query和key的随机非线性函数的乘积，也就是所谓的随机特征（random features），这样就可以更有效地对相似性信息进行编码。LHS：标准注意力矩阵，由 query(表示为q) 和 key(表示为k) 上的softmax计算组成，表示两两之间的相似得分。RHS：标准注意力矩阵可以通过低阶随机化矩阵Q′和K′来近似，行编码由随机化非线性函对原始query/key进行编码而得到。对于常规的softmax-attention，变换非常紧凑，涉及指数函数以及随机高斯影。 常规的 softmax 注意力(softmax-attention)可以看作是由指数函数和高斯投影定义的非线性函数的一个特例。在这里也可以反向推理，首先实现一些更广义的非线性函数，在query-key 结果上隐式定义其他类型的相似性度量或核函数。文章中所定义的通用注意力（generalized attention）是基于早期的[核方法(Random Features for Large-Scale Kernel Machines)](https://papers.nips.cc/paper/3182-random-features-for-large-scale-kernel-machines)。尽管大多核函数闭式解并不存在，但是由于Performer的使用并不依赖于闭式解，所以这一机制仍然适用。 文章首次证明了，在下游 Transformer 的应用中，任意注意力矩阵都可以通过随机特征实现有效近似。实现这一点的新机制使用positive random features(正向随机特征)，即原始 query 和 key 的正值非线性函数。这避免了训练过程中的不稳定，并实现了对常规 softmax 注意力的更准确近似。 FAVOR+ 通过上述的分解可以得到线性(而非二次)空间复杂度隐式注意力矩阵。同样，通过分解可以获得线性时间的注意力机制。原有的方式是注意力矩阵与value输入相乘得到最终结果，但在**分解注意力矩阵**之后，可以重新排列矩阵乘法来近似常规注意力机制的结果，而无需显式地构建二次方尺寸的注意力矩阵。最终生成了新算法 FAVOR+。左：标准的注意力模块，最终结果是由注意力矩阵A和value向量进行矩阵乘法而得到。右：对注意力矩阵A低秩分解得到解耦矩阵Q′和K′，并按照虚线框表示的顺序进行矩阵乘法。如此可以得到线性的注意力机制，而无需明确地构造注意力矩阵A或其近似。 上述分析是双向注意力(即非因果注意力)，并没有区分 past 和 future的部分。那么如何做到让输入序列中只注意到其中一部分，即单向的因果注意力？只需使用前缀和计算（prefix-sum computation），在计算过程只存储矩阵计算的运行总数，而不存储完整的下三角常规注意力矩阵。左：标准的单向注意机制，需要对注意矩阵进行mask操作来得到下三角部分矩阵。右：在LHS上的无偏近似可以通过前缀和来获得。key向量和value向量的随机特征映射进行外积，得到的前缀和，且这个过程是动态构建的。最后将随机特征向量与query左乘得到最终矩阵中的新行。 RoseTTAFold模型基于这篇论文的代码改进的Transformer的架构 公式推导见：Performer：用随机投影将Attention的复杂度线性化 - 科学空间|Scientific SpacesLuna: Linear Unified Nested Attention代码链接：https://github.com/XuezheMax/fairseq-apollo 用两个嵌套的线性注意力函数近似 softmax 注意力，产生只有线性（而不是二次）时间和空间复杂度。相比于一个更传统的注意力机制，Luna 引入了一个额外的序列以固定长度作为输入和额外的相应输出，这允许Luna 线性地执行注意力操作，同时还存储足够的上下文信息。我们对序列的三个基准进行了广泛的评估建模任务：长上下文序列建模、神经机器翻译和用于大规模预训练的掩码语言建模。 王思若：线性self-attention的慢慢探索路---系列论文分享（1） 这篇文章类是线性self-attention的一篇Survey，很多模型的细节并没有详细展示，后续会针对Performer 【google】详细的探究一些细节，欢迎大家提出自己的意见，一些拓展知识和参考文献下面有列出。2022/2/20 22:33 拓展：加性attention加性注意力是最经典的注意力机制 (Bahdanau et al., 2015)拓展阅读：Graph Transformer: A Generalization of Transformers to Graphs，在gnn上用transformer。PENG Bo：中文语言模型研究：(1) 乘性位置编码Transformer-XL：释放注意力模型的潜力相关论文的拓展讲解:Google self-attention的反思和探索Google新作Synthesizer：我们还不够了解自注意力 - 科学空间|Scientific Spaces self-attention 优化Google新作Synthesizer：我们还不够了解自注意力 - 科学空间|Scientific SpacesNyströmformer：基于矩阵分解的线性化Attention方案 - 科学空间|Scientific SpacesTransformer升级之路：5、作为无限维的线性Attention - 科学空间|Scientific Spaces参考内容：1. openai sparse attention 讲解 为节约而生：从标准Attention到稀疏Attention - 科学空间|Scientific Spaces2. sparse attention sliderSun：Sparse Transformer3. The Long-Document Transformer 李全蛋的苹果派：《Longformer: The Long-Document Transformer》论文笔记4. Performer Performer：用随机投影将Attention的复杂度线性化 - 科学空间|Scientific Spaces5. 线性Transformer应该不是你要等的那个模型 - 科学空间|Scientific Spaces6. Reformer sergio：Reformer 详解 这六大方法，如何让 Transformer 轻松应对高难度长文本序列？7. Linformer sliderSun：Linformer:具有线性复杂性的自注意力机制 Linformer 线性时间的 Transformer8. Performer Google 学术头条：Performer带头反思Attention，大家轻拍！丨ICLR2021 Performer：用随机投影将Attention的复杂度线性化 - 科学空间|Scientific Spaces能提升家庭幸福感的小学生学习好物推荐(2021)的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于能提升家庭幸福感的小学生学习好物推荐(2021)、能提升家庭幸福感的小学生学习好物推荐(2021)的信息别忘了在本站进行查找喔。
未经允许不得转载！ 作者:谁是谁的谁，转载或复制请以超链接形式并注明出处。
原文地址：http://wisdombay.com.cn/post/17840.html发布于：2026-02-16
