行雺のBlog | Hexo

linear / relu / sgd -> tokenization -> LLM workflow -> inference / deployment SGD、Linear、ReLU神经网络为什么能工作神经网络本质上不是神秘黑盒，而是很多简单函数的组合。 最基础的一条链可以写成： x -> Linear -> ReLU -> Linear -> loss -> backward -> SGD step Linear 是什么nn.Linear 做的是一个仿射变换。它会把输入特征映射到新的特征空间。 例如： 输入是 in_features 输出是 out_features 对应代码123456789import torchfrom torch import nnlinear = nn.Linear(4, 2)x = torch.randn(3, 4)y = linear(x)print("x shape:", x.shape)print("y shape:", y.shape) 需...

核心目标不是学会很多 API，而是先把最小训练闭环真正串起来： dataset -> dataloader -> model -> forward -> loss -> backward -> optimizer.step() -> eval -> save/load 最小训练闭环是什么训练一个神经网络，本质上是在重复下面几步： 从 dataloader 中取出一个 batch 的数据 把数据送进 model 做前向计算，得到预测值 用 loss function 比较预测值和真实标签，得到 loss 对 loss 调用 backward()，计算梯度 调用 optimizer.step()，根据梯度更新参数 调用 optimizer.zero_grad()，清空旧梯度 需要理解的概念 batch：一次送进模型的一批样本 step：处理一个 batch 并更新一次参数 epoch：完整遍历整个训练集一次 loss：模型当前预测得有多差 gradient：loss 对参数的变化率 learning rate (lr)：每次更新参...

Prompt EngineeringAuthor: Lee Boonstra AcknowledgementsContent contributors Michael Sherman Yuan Cao Erick Armbrust Anant Nawalgaria Antonio Gulli Simone Cammel Curators and Editors Antonio Gulli Anant Nawalgaria Grace Mollison Technical Writer Joey Haymaker Designer Michael Lanning Table of contents Introduction Prompt engineering LLM output configuration Output length Sampling controls Temperature Top-K and top-P Putting it all together Prompting techniques General prompting / ...

Prompting guide 101A quick-start handbook for effective prompts October 2024 edition Writing effective promptsFrom the very beginning, Google Workspace was built to allow you to collaborate in real time with other people. Now, you can also collaborate with AI using Gemini for Google Workspace to help boost your productivity and creativity without sacrificing privacy or security. The embedded generative AI-powered features can help you write, organize information, create images, accelerate wor...

基于 CANN 社区版 8.2.RC1 制作 Ascend C 算子开发 Ascend C简介 环境准备 快速入门 3.1. HelloWorld 3.2. 基于Kernel直调工程的算子开发 3.3. 基于自定义算子工程的算子开发 抽象硬件架构 编程模型 5.1. SPMD模型 5.2. 核函数 5.3. 编程范式 5.4. 编程接口概述 算子实现 6.1. 概述 6.2. 矢量编程 6.2.1. 概述 6.2.2. 基础矢量算子 6.2.3. TBuf的使用 6.2.4. 多核&Tiling切分 6.2.4.1. 概述 6.2.4.2. 多核Tiling 6.2.4.3. 尾块Tiling 6.2.4.4. 尾核Tiling 6.2.4.5. 尾核&尾块 6.2.5. DoubleBuffer场景 6.2.6. Broadcast场景 6.2.7. 非对齐场景 6.3. 矩阵编程（高阶API） 6.3.1. 基础知识 6.3.2. 算子实现 6.3.3. 特性场景 6.3.3.1. Matmul特性介绍 6....

如果我写的文章或所做的开源贡献对你有帮助，欢迎投喂。你的一点心意就是对我最大的肯定和鼓励。 Sponsor @Lyxot on Github Sponsors

国庆假期来临，不想出远门，于是决定去浙江玩一趟。最开始只是想去杭州玩两三天，后面临时起意去宁波呆了一天，走时绕道湖州给我的流量卡办了张副卡 杭州杭州的景点基本都在西湖边上，另外又去了铜鉴湖花海 西湖 钱塘江 铜鉴湖 宁波东钱湖 本次游玩的全部照片：空濛集

最近发现了 Cloudflare 有一个 Images 转换服务，可以用来处理图片，搭配 Workers，实现访问图片的 URL 不变，无感压缩图片，很适合图床使用。当然前提是图片托管到 CF，小黄云代理或是 R2 对象存储都可以。免费版每月有 5000 次的转换额度，实际上一张图片转换过一次后就会缓存，下次访问不会再占额度。另外，只对嵌入在网页中的图片有效，不影响单独标签页打开图片。 实现效果以香港-深圳-广州游为例，7-8MB 的 JPG 原图被压缩为了 1-2MB 的 WEBP 图片，大幅缩短了打开网站所需的时间，部分图片压缩时间超过免费版 Workers 限制，保持原图。 配置步骤接下来的教程中提及到的域名如下，请自行替换为你的域名： example.com：域名 www.example.com：图床域名 第一步：启用 Cloudflare Images 转换首先来到 Dashboard，找到 Images -> 转换，给 example.com 启用转换。 第二步：配置源服务器然后在源里面添加指定源服务器：www.example.com，保存。 第三步：...

在这里可以给我留言噢，申请友链点击这里

早已对香港心生向往，恰逢《鬼灭之刃》剧场版在香港上映，便以此为契机，开启了一段说走就走的旅行。除了感受“东方之珠”的魅力，此行还顺便探访了周边的深圳与广州，并成功办理了香港银行卡。 准备 港币：带了一张中国银行的Mastercard（莫奈卡），并提前存入了一些港币，全程没有携带现金。 流量：通过小米手机的“全球上网”应用购买虚拟卡，19.9元/天，含10GB流量。 住宿：4晚全部住宿在深圳。 交通：在香港使用AlipayHK，深圳和广州则使用支持交通联合的公交卡。 花销四天的行程，包含往返交通在内，总花费约2500元人民币。 香港消费参考：大部分商店都支持支付宝和微信，我的中银Mastercard也可以正常消费。 餐饮：普通正餐平均六七十港币，麦当劳套餐约四五十港币。 交通：公共交通单程花费在2-20港币不等。 娱乐：观看一场2D电影花费170港币。 印象 香港：繁华依旧，公共交通极其便利。整体感觉像是空间上更为紧凑的上海。 深圳：夜生活丰富，大部分店铺会营业至深夜一两点，非常适合“夜猫子”型游客。 广州：游客众多，无论去哪里都感觉人潮拥挤，个人感觉适合游玩的...