go语言从零入门学习笔记（持续更新中）
go语言学习教程：Go语言中文文档，本文基本上是该文档的干货版。 远航-博客 Go 语言教程 | 菜鸟教程 go语言（或 Golang）是Google开发的开源编程语言，在多核并发上拥有原生的设计优势，从底层原生支持并发。Go语言的并发是基于 goroutine 的，goroutine 类似于线程，但并非线程。可以将 goroutine 理解为一种虚拟线程。 安装：All releases - The Go Programming Language 安装后，确保环境变量正确，新建工作区，在vscode中添加go插件。 直接运行示例程序： 1go run main.go 输出.exe可执行文件： 1go build main.go 基础常用包12345678import ( "encoding/json" "fmt" "os" "math/rand" "time" ...
大模型自学笔记（待更新中）
1.NLP基础知识1.1 文本处理基础Tokenizer：分词器Tokenizer是一个用于向量化文本，将文本转换为序列的类。当前tokenization主要分为：word，sub-word， charlevel 三个类型。Subword处于word和char level两个粒度级别之间。 word级别面临问题： 超大的vocabulary size, 比如中文的常用词可以达到20W个 通常面临比较严重的OOV问题（Out-Of-Vocabulary：测试集中出现的词汇未在训练集中出现，导致模型无法识别或处理这些词汇） vocabulary 中存在很多相似的词。 以及char level存在的以下问题： 文本序列会变得很长，想象以下如果是一篇英文文章的分类，char level级别的输入长度可以达到上万 无法对语义进行比较好的表征 subword 不会对高频的词进行拆分，仅拆分一些低频的词，比如”boy”和”boys”这两个词，将”boys”拆分为”boy”和”s”两个更高频的词，其中”boy”表示的是词根，模型通过”boy”去学习”boys”的语义。 BPE：Byte...
妙手回春拯救死刑虚拟机&缩小虚拟机文件大小
ubuntu虚拟机进入死循环，内存爆满导致崩溃，磁盘也被占满。删除快照并不能影响虚拟机的内存大小，反而会因磁盘占满而无法删除，vmware又会失去该快照的记录无法重新删除，甚至会导致使虚拟机文件更大。 我将虚拟机整个文件夹移到空间充裕的硬盘上，然而移动过程中也恰好导致虚拟机发生错误，无法再次开机。 重新开机后会进入救援模式，选择Advanced options for Ubuntu，再选择较新版本带（recovery mode），显示（initramfs），这是因为虚拟机文件损坏，加载出现错误。使用fsck命令修复： 1fsck -y /dev/sdb1 将设备从sdb1到sdb3都试了一遍，扫描出错误就输入yes进行修复。重启能成功打开，接下来就是缩小虚拟机文件。 在vmware的虚拟机设置——硬盘中，有碎片整理、磁盘压缩，但并不好用，耗时长且缩小有限。 将“文件“中，选择将虚拟机另存为ovf文件，然后重新从ovf打开虚拟机。这种方法能有效缩小虚拟机大小，但会出现错误，可能与光盘文件有关。 个人认为最有效的方式是在正确安装了VMware...
prompt工程学习
前置知识： 1.轻松搞懂 Zero-Shot、One-Shot、Few-Shot - 知乎 Zero-Shot零样本学习：测试集中出现了训练集中没有的类别。需要模型通过对这个类别的描述，对没见过的类别进行分类。 One-Shot一次性学习：给出一个样例，可以理解为用一条数据fine-tune模型。属于Few-Shot学习的特例。 Few-Shot少样本学习：对于只有少量样本的类别，希望模型在学习了一定类别的大量数据后，只需要少量的样本就能快速学习。 2.大模型「幻觉」，看这一篇就够了 | 哈工大华为出品 - 知乎 大模型幻觉问题：模型生成的内容与现实世界事实或用户输入不一致的现象。 CoT思维链参考链接：一文读懂：思维链 CoT（Chain of Thought） - 知乎 在从输入到输出的过程中加入详细的推理小步骤有助于提升推理能力。 完整包含 CoT 的 Prompt 由指令（Instruction），逻辑依据（Rationale），示例（Exemplars）三部分组成。模型规模小、任务简单的情况下，CoT无效。 不添加示例而仅仅在指令中添加一行经典的“Let’s...
IDA超快速上手干货
...
pwncollege
Access Control在pwn.college网站做Access Control部分前16题的记录。 1.运行run发现要求flag文件权限，用ll查看flag权限发现能够读取，cat /flag查看。 2.用ll查看flag权限发现能够读取，cat /flag查看。 3.用ll命令发现flag文件变得没有任何权限，因此添加权限： chmod +r flag cat flag 4.用ll查看flag权限发现满足要求，cat /flag查看。 5.在/tmp用touch创建flag空文件，然后复制过来： cp /flag /tmp/flag 此时覆盖了文件的数据内容，但文件属性和权限没有改变，可以cat出来。 6.将hacker用户加入用户组： usermod -aG group_xxx hacker su hacker cat /flag 7.登录有读取flag权限的其他用户： su user_qlurihvb 然后输入密码，就能cat...
工程实践中实用技巧——终端命令
查看文件/目录大小查看一级深度（仅当前目录，不迭代看子目录）下所有文件/目录的大小： 1du --max-depth=1 -h vscode远程ssh连接-免密登录在“远程资源管理器”处，创建新连接，连接到主机，按照格式输入信息保存配置，需要时点击对应的主机即可连接，需要输入密码。 实现免密登录，首先在需要建立连接的本地生成密钥对，在命令行输入命令： 1ssh-keygen -t rsa 该命令会询问密钥储存地址、是否设置密码、是否覆盖原有密钥等，一般直接回车跳过就行。 观察密钥生成位置，ubuntu会在\.ssh下，或者\home\（用户名）\.ssh，windows在C:\Users\Administrator\.ssh。找到生成的公钥id_rsa.pub并复制其内容。若已有文件在附加在文件新的一行。 将公钥传给目标服务器，可以通过命令： 1ssh-copy-id user@xxx.xxx.xxx.xxx 也可以直接找到目标服务器的.ssh目录，创建文件，命名为authorized_keys，存入公钥内容。 验证免密是否成功，使用Ctrl +...
爬虫进阶学习
requests.Session()requests.get() 或者 requests.post() 发送GET请求或POST请求都是一次性请求， requests.session() 可以自动处理cookies，做状态保持。获取cookie值不用登录。 1234session = requests.session() response = session.get(url=initial_url, headers=headers,timeout=120,proxies=proxies).json()html = session.get(url=url, headers=headers, timeout=120,proxies=proxies).json() JSON库json库：用 Python 语言来编码和解码 JSON 对象。 JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式，易于人阅读和编写。 可以用于一些网页的快速处理。 json.dumps：将 Python 对象编码成 JSON...
hexo博客自制live2d看板娘教程
简易live2d看板娘hexo博客有简单的live2d看板娘插件，运行： 1npm install hexo-helper-live2d 安装后博客会使用库中自带的看板娘模型，可以修改参数使用库中其他看板娘，但选择毕竟有限。教程 经查阅，hexo-helper-live2d已经停止维护，使用自定义的看板娘时只能使用.moc文件，不兼容.moc3文件，因此放弃。 live2d官网有定义接口的js文件，但冗长难懂。找寻半天，发现大佬自制插件oh-my-live2d，仍在积极维护中，可以支持.moc和.moc3文件。有工具就好办了，要实现自制看板娘还是先做出看板娘模型吧，于是打开live2d—— live2d模型制作此处只做流程简要介绍，详细过程参考其他专业live2d教程。推荐教程 用PS画图，做好拆分，将每一个部件画完整然后合并为一个图层，做好命名，背景设置为不可见（透明）。最好将模型拉大或者裁剪一下，背景留空太多，后期也不好调整画布TvT 打开Live2D Cubism Editor...
深度学习花书笔记（待更新中）
现存疑问1. 数学知识线性代数生成子空间一组向量的生成子空间：原始向量线性组合能抵达的点的集合。 用于判断方程是否有解。 范数${ L^p }$ 范数定义：$$\left | x_p \right | = \left (\displaystyle\sum_{i}|x_i|^p \right )^{\frac{1}{p}}$$${ L^0 }$范数：向量中非零元素的个数。 ${ L^1 }$范数：向量中所有元素绝对值之和。 ${ L^2 }$范数（欧几里得范数）：向量元素绝对值的平方和再开方，计算向量长度。 ${ Frobenius}$范数：所有元素的平方和再开方，衡量矩阵大小。$${\left | A \right |}F = \sqrt{\sum{i,j}A_{i,j}^{2} }$$${ L^ \infty }$范数：向量中所有元素中最大的绝对值。 奇异值分解特征分解：$$A = Vdiag(\lambda )V^{-1}$$奇异值分解：$$A = UDV^T$$ ${ A_{m\times n}, U_{m\times...