期中复习总结

概述

计算机网络在信息时代中的运用

记录部分笔记

生成requirements.txt

1
2
3

pip install pipreqs
pipreqs ./ --encoding=utf8 --ignore .conda 
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt

记录小米13在24/09/30重装

刷入官方包

刷入twrp

刷magisk以及安装模块

sui配置

lsposed配置

基本软件

Databackup

这个版本好用,没有必要升级

miplayer

作为相册内嵌播放工具，仅保留基本播放功能去除其他冗余功能：

1. 在thanox中找到Mi video -> 活动管理 -> 右上三个点:全不 -> 搜索player 将VideoPlusPlayerActivity以及 GalleryPlayerActivity打开即可
2. 系统设置中禁止其联网
3. 设置智能冻结+活检解冻

这下在相册中可以直接播放视频了

记录一些博客的编写技巧

折叠代码段

在md头中添加设置

1
2
3

article:
    highlight:
            fold: folded

eg:

图片并列排版

在页面模板themes > icarus > source > css > custom.styl中添加以下代码:

1
2
3
4
5
6
7
8
9

.same-height {
    max-height: 5000px; /* 图片尽量紧密排列 */
    width: auto; /* 自动调整宽度 */
    object-fit: contain; /* 确保图片比例不变形 */
    margin-right: 20px; /* 图片之间的间距 */
}
.same-height:last-child {
    margin-right: 0; /* 最后一个图片去掉右边距 */
}

默认为同一排中的图片尽量大,尽量密排列
若想针对某页单独更改图片排版,在页面中加入以下代码

1
2
3
4
5
6
7
8

<style>
    .same-height {
        max-height: 5000px; /* 期望高度 */
        width: auto; /* 自动调整宽度 */
        object-fit: contain; /* 确保图片比例不变形 */
        margin-right: 20px; /* 图片之间的间距 */
    }
</style>

在用户代码段中添加以下代码:

同时,设置markdown自动补齐(editor.tabCompletion)为on:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

       "Image Container": {
       "prefix": "img_mutiple",
       "body": [
           "<div style=\"display: flex; justify-content: center; align-items: center;\">",
           "    <img class=\"same-height\" src=\"$1\" alt=\"\">",
           "    <img class=\"same-height\" src=\"$2\" alt=\"\">",
           "</div>",
           ""
],
       "description": "Insert an image container with two images and CSS for same height."
   },
"Image single": {
       "prefix": "img_single",
       "body": [
           "<div style=\"display: flex; justify-content: center; \">",
           "    <img style=\"max-height: 300px;  width: auto; object-fit: contain; margin-right: 20px;\" src=\"$1\" alt=\"\">",
           "</div>",
           ""
],
       "description": "Insert an image container with two images and CSS for same height."
   }

在setting.json中插入以启用代码段预览:

1
2
3
4
5
6
7

"[markdown]":{
    "editor.quickSuggestions": {
        "other": "on",
        "comments": "on",
        "strings": "on"
    }
},

• 图片最大为min(原始大小,能保持并列的最大值)

在添加图片时,使用img补全,或在以下代码中插入链接

1
2
3
4
5
6
7
8
9
10
11

<div style="display: flex; justify-content: center; align-items: center;">
    <img class="same-height" src="" alt="">
    <img class="same-height" src="" alt="">
</div>


<div style="display: flex; justify-content: center; align-items: center;">
    <img style="max-height: 300px;  width: auto; object-fit: contain; margin-right: 20px;" src="" alt="">
</div>

justify-content 为水平方向对齐 ,align-items为竖直方向对齐

置顶

top值越大,越靠前

初始化ubuntu conda环境、ssh、固定ip

安装系统

安装的时候需要关闭虚拟机网络

设置固定ip

编辑网络配置文件

sudo vim /etc/netplan/01-network-manager-all.yaml

原始的:

1
2
3
4

# Let NetworkManager manage all devices on this system
network:
  version: 2
  renderer: NetworkManager

添加固定ip,ipv4网关,dns服务器地址

1
2
3
4
5
6
7
8
9
10
11
12

# Let NetworkManager manage all devices on this system
network:
  version: 2
  renderer: NetworkManager
  ethernets:
    ens33: 
      addresses: [192.168.10.10/24]
      gateway4: 192.168.10.1
      dhcp4: no
      nameservers:
        addresses: [8.8.8.8,114.114.114.114]       

应用配置文件

sudo netplan apply

测试通断

ping baidu.com

ssh服务端安装

安装ssh server

1
2

sudo apt-get update
sudo apt-get install openssh-server

重启ssh服务sudo service ssh start

配置公钥

将公钥写入信任文件

1
2

cd ~/.ssh
cat my_key.pub >> authorized_keys

如此便完成了公钥的安装。

此外，为了确保连接成功，输入如下指令以保证以下文件权限正确：

1
2

chmod 600 authorized_keys
chmod 700 ~/.ssh

miniconda安装

安装miniconda

下载安装文件(之后可删除)

1
2
3

mkdir miniconda
cd miniconda
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh

执行安装程序bash Miniconda3-latest-Linux-x86_64.sh

重启终端之后，就可以使用miniconda了。但先换源，将conda和pip的软件源修改成清华的源，下载安装软件会快很多：

1
2
3
4

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes 
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

最后一行命令在base环境下执行

取消终端自动启动base环境

1

conda config --set auto_activate_base false

常用命令

• 在 Ubuntu 上查看当前所在路径，你可以使用 pwd（print working directory）命令。只需在终端中输入以下命令并按回车：pwd

ffmppeg 使用笔记

基础操作

查看基本信息

ffmpeg -i

压缩视频

使用amd显卡加速

ffmpeg -i C0072.MP4 -c:v h264_amf -preset slow -crf 20 -c:a copy out2.mp4

-crf 20 是压缩参数，建议值18-25，越低压缩越狠

更改视频中的音频编码为mp3（便于设备兼容）

ffmpeg -i 2-out1.mp4 -c:v copy -c:a libmp3lame -b:a 192k 1-out2.mp4

YOLOv5参数解析，主要解析源码中train.py文件中包含的参数。

5000字多图长文预警！手把手带你调参Yolo v5（二）

• 1.1’–weights’
• 1.2’–cfg’
• 1.3’–data’
• 1.4’–hyp’
• 1.5’–epochs’
• 1.6’–batch-size’
• 1.7’–imgsz’, ‘–img’, ‘–img-size’
• 1.8’–rect’🍀
• 1.9’–resume’🍀10’–nosave’
• 1.11’–noval’
• 1.12’–noautoanchor’🍀
• 1.13’–evolve’🍀
• 1.14’–bucket’
• 1.15’–cache’
• 1.16’–image-weights’
• 1.17’–device’
• 1.18’–multi-scale’🍀
• 1.19’–single-cls’
• 1.20’–optimizer’
• 1.21’–sync-bn’
• 1.22’–workers’
• 1.23’–project’
• 1.24’–name’
• 1.25’–exist-ok’
• 1.26’–quad’
• 1.27’–cos-lr’🍀
• 1.28’–label-smoothing’🍀
• 1.29’–patience’
• 1.30’–freeze’🍀
• 1.31’–save-period’
• 1.32’–local_rank’
• 1.33’–entity’
• 1.34’–upload_dataset’
• 1.35’–bbox_interval’
• 1.36’–artifact_alias’

0.首次运行常见错误🍀

刚拿到代码可以运行train.py文件看看，一般都会出现这个错误：

1

OMP: Hint This means that multiple copies of the OpenMP runtime have been linked into the program. That is dangerous, since it can degrade performance or cause incorrect results. The best thing to do is to ensure that only a single OpenMP runtime is linked into the process, e.g. by avoiding static linking of the OpenMP runtime in any library. As an unsafe, unsupported, undocumented workaround you can set the environment variable KMP_DUPLICATE_LIB_OK=TRUE to allow the program to continue to execute, but that may cause crashes or silently produce incorrect results. For more information, please see http://www.intel.com/software/products/support/.

解决方案：在train.py文件里加入以下代码：

1
2

import os
os.environ['KMP_DUPLICATE_LIB_OK']='TRUE'

1.train.py参数解析🚀

首先还是打开根目录下的 train.py，直接看 parse_opt()

1.1’–weights’

1

parser.add_argument("--weights", type=str, default=ROOT / "yolov5s.pt", help="initial weights path")

指定预训练权重路径；如果这里设置为空的话，就是自己从头开始进行训练；下图是官方提供的预训练权重

1.2’–cfg’

指定模型配置文件路径的；源码里面提供了以上这5个配置文件，配置文件里面指定了一些参数信息和backbone的结构信息。

1.3’–data’

1

parser.add_argument("--data", type=str, default=ROOT / "data/coco128.yaml", help="dataset.yaml path")

数据集对应的参数文件；里面主要存放数据集的类别和路径信息。

yolo源码里面提供了9种数据集的配置文件

1.4’–hyp’

指定超参数文件的路径；超参数里面包含了大量的参数信息，同样提供了5个

1.5’–epochs’

1

parser.add_argument("--epochs", type=int, default=100, help="total training epochs")

训练的轮数；默认为300轮，显示效果是0-299

1.6’–batch-size’

1

parser.add_argument("--batch-size", type=int, default=16, help="total batch size for all GPUs, -1 for autobatch")

每批次的输入数据量；default=-1将时自动调节 batchsize大小。

❝ 这里说一下epoch、batchsize、iteration三者之间的联系

1、batchsize是批次大小，假如取batchsize=24，则表示每次训练时在训练集中取24个训练样本进行训练。

2、iteration是迭代次数，1个iteration就等于一次使用24（batchsize大小）个样本进行训练。

3、epoch：1个epoch就等于使用训练集中全部样本训练1次。

1.7’–imgsz’, ‘–img’, ‘–img-size’

1

parser.add_argument("--imgsz", "--img", "--img-size", type=int, default=640, help="train, val image size (pixels)")

训练集和测试集图片的像素大小；输入默认640*640，这个参数在你选择yolov5l那些大一点的权重的时候，要进行适当的调整，这样才能达到好的效果。

1.8’–rect’🍀

1

parser.add_argument("--rect", action="store_true", help="rectangular training")

是否采用矩阵推理的方式去训练模型；

❝ 所谓矩阵推理就是不再要求你训练的图片是正方形了；矩阵推理会加速模型的推理过程，减少一些冗余信息。

下图分别是方形推理方式和矩阵推理方式

1.9’–resume’🍀

1

parser.add_argument("--resume", nargs="?", const=True, default=False, help="resume most recent training")

断点续训：即是否在之前训练的一个模型基础上继续训练，default 值默认是 false；如果想采用断点续训的方式，这里我推荐一种写法，即首先将default=False 改为 default=True 随后在终端中键入如下指令

1

python train.py --resume D:\Pycharm_Projects\yolov5-6.1-4_23\runs\train\exp19\weights\last.pt

D:\Pycharm_Projects\yolov5-6.1-4_23\runs\train\exp19\weights\last.pt 为你上一次中断时保存的pt文件路径

输入指令后就可以看到模型是继续从上次结束时开始训练的

1.10’–nosave’

1

parser.add_argument("--nosave", action="store_true", help="only save final checkpoint")

是否只保存最后一轮的pt文件；我们默认是保存best.pt和last.pt两个的

1.11’–noval’

1

parser.add_argument("--noval", action="store_true", help="only validate final epoch")

只在最后一轮测试；正常情况下每个epoch都会计算mAP，但如果开启了这个参数，那么就只在最后一轮上进行测试，不建议开启

1.12’–noautoanchor’🍀

1

parser.add_argument("--noautoanchor", action="store_true", help="disable AutoAnchor")

是否禁用自动锚框；默认是开启的，自动锚点的好处是可以简化训练过程；

yolov5中预先设定了一下锚定框，这些锚框是针对coco数据集的，其他目标检测也适用，可以在models/yolov5.文件中查看，例如如图所示，这些框针对的图片大小是640640。这是默认的anchor大小。需要注意的是在目标检测任务中，一般使用大特征图上去检测小目标，因为大特征图含有更多小目标信息，因此大特征图上的anchor数值通常设置为小数值，小特征图检测大目标，因此小特征图上anchor数值设置较大。

在yolov5 中自动锚定框选项，训练开始前，会自动计算数据集标注信息针对默认锚定框的最佳召回率，当最佳召回率大于等于0.98时，则不需要更新锚定框；如果最佳召回率小于0.98，则需要重新计算符合此数据集的锚定框。在parse_opt设置了默认自动计算锚框选项，如果不想自动计算，可以设置这个，建议不要改动。

1.13’–evolve’🍀

1

parser.add_argument("--evolve", type=int, nargs="?", const=300, help="evolve hyperparameters for x generations")

遗传超参数进化；yolov5使用遗传超参数进化，提供的默认参数是通过在COCO数据集上使用超参数进化得来的（也就是下图这些参数）。由于超参数进化会耗费大量的资源和时间，所以建议大家不要动这个参数。

遗传算法是利用种群搜索技术将种群作为一组问题解，通过对当前种群施加类似生物遗传环境因素的选择、交叉、变异等一系列的遗传操作来产生新一代的种群，并逐步使种群优化到包含近似最优解的状态，遗传算法调优能够求出优化问题的全局最优解，优化结果与初始条件无关，算法独立于求解域，具有较强的鲁棒性，适合于求解复杂的优化问题，应用较为广泛。

1.14’–bucket’

1

parser.add_argument("--bucket", type=str, default="", help="gsutil bucket")

谷歌云盘；通过这个参数可以下载谷歌云盘上的一些东西，但是现在没必要使用了

1.15’–cache’

1

parser.add_argument("--cache", type=str, nargs="?", const="ram", help="image --cache ram/disk")

是否提前缓存图片到内存，以加快训练速度，默认False；开启这个参数就会对图片进行缓存，从而更好的训练模型。

1.16’–image-weights’

1

parser.add_argument("--image-weights", action="store_true", help="use weighted image selection for training")

是否启用加权图像策略，默认是不开启的；主要是为了解决样本不平衡问题；开启后会对于上一轮训练效果不好的图片，在下一轮中增加一些权重；

1.17’–device’

1

parser.add_argument("--device", default="", help="cuda device, i.e. 0 or 0,1,2,3 or cpu")

设备选择；这个参数就是指定硬件设备的，系统会自己判断的

1.18’–multi-scale’🍀

1

parser.add_argument("--multi-scale", action="store_true", help="vary img-size +/- 50%%")

是否启用多尺度训练，默认是不开启的；多尺度训练是指设置几种不同的图片输入尺度，训练时每隔一定iterations随机选取一种尺度训练，这样训练出来的模型鲁棒性更强。

多尺度训练在比赛中经常可以看到他身影，是被证明了有效提高性能的方式。输入图片的尺寸对检测模型的性能影响很大，在基础网络部分常常会生成比原图小数十倍的特征图，导致小物体的特征描述不容易被检测网络捕捉。通过输入更大、更多尺寸的图片进行训练，能够在一定程度上提高检测模型对物体大小的鲁棒性。

1.19’–single-cls’

1

parser.add_argument("--single-cls", action="store_true", help="train multi-class data as single-class")

设定训练数据集是单类别还是多类别；默认为 false多类别

1.20’–optimizer’

1

parser.add_argument("--optimizer", type=str, choices=["SGD", "Adam", "AdamW"], default="SGD", help="optimizer")

选择优化器；默认为SGD，可选SGD，Adam，AdamW

1.21’–sync-bn’

1

parser.add_argument("--sync-bn", action="store_true", help="use SyncBatchNorm, only available in DDP mode")

是否开启跨卡同步BN；开启参数后即可使用 SyncBatchNorm多 GPU 进行分布式训练

1.22’–workers’

最大worker数量；这里经常出问题，建议设置成0

1.23’–project’

指定训练好的模型的保存路径；默认在runs/train

1.24’–name’

设定保存的模型文件夹名，默认在exp；

1.25’–exist-ok’

每次预测模型的结果是否保存在原来的文件夹；如果指定了这个参数的话，那么本次预测的结果还是保存在上一次保存的文件夹里；如果不指定就是每次预测结果保存一个新的文件夹下。

1.26’–quad’

官方给出的开启这个功能后的实际效果：

• 好处是在比默认 640 大的数据集上训练效果更好
• 副作用是在 640 大小的数据集上训练效果可能会差一些

1.27’–cos-lr’🍀

是否开启余弦学习率；

这是我不采用cos-lr时学习率的曲线：

开启后的学习率应该是这样子：

1.28’–label-smoothing’🍀

是否对标签进行平滑处理，默认是不启用的；

在训练样本中，我们并不能保证所有sample都标注正确，如果某个样本标注错误，就可能产生负面印象，如果我们有办法“告诉”模型，样本的标签不一定正确，那么训练出来的模型对于少量的样本错误就会有“免疫力”采用随机化的标签作为训练数据时，损失函数有1-ε的概率与上面的式子相同，比如说告诉模型只有0.95概率是那个标签。

1.29’–patience’

早停；如果模型在default值轮数里没有提升，则停止训练模型

1.30’–freeze’🍀

指定冻结层数量；可以在yolov5s.yaml中查看主干网络层数。

冻结训练是迁移学习常用的方法，当我们在使用数据量不足的情况下，通常我们会选择公共数据集提供权重作为预训练权重，我们知道网络的backbone主要是用来提取特征用的，一般大型数据集训练好的权重主干特征提取能力是比较强的，这个时候我们只需要冻结主干网络，fine-tune后面层就可以了，不需要从头开始训练，大大减少了实践而且还提高了性能。

例如如下指令，代表冻结前8层，因为只有9层，注意不要超过9

1

python train.py --freeze 8

这里分享一个对比冻结效果的项目

这里是项目的部分截图

1.31’–save-period’

用于设置多少个epoch保存一下checkpoint；

1.32’–local_rank’

DistributedDataParallel 单机多卡训练，单GPU设备不需要设置；

1.33’–entity’

在线可视化工具，类似于tensorboard

1.34’–upload_dataset’

是否上传dataset到wandb tabel(将数据集作为交互式 dsviz表 在浏览器中查看、查询、筛选和分析数据集) 默认False

1.35’–bbox_interval’

设置界框图像记录间隔 Set bounding-box image logging interval for W&B 默认-1

1.36’–artifact_alias’

功能作者还未实现

ubuntu 常用的shell命令合集

Linux终端命令

ubuntu安装插件命令

1
2

sudo apt-get install 插件名称(tree)
1

查看硬盘容量信息

1
2
3
4

df -h
#查看当前目录文件夹占用磁盘空间
du -sh *
123

查看内存使用情况

1
2
3

cat /proc/meminfo
free -h
12

查看当前目录

1
2

pwd
1

创建文件(创建file.txt文件)

1
2

touch file.txt
1

查看帮助文档

1
2
3
4

command --help

man command
123

ls命令

ls通配符

mkdir递归创建文件夹

1
2

mkdir -p dir1/dir2/dir3
1

rm命令

拷贝和移动文件

1、tree [目录名]: 以树状图列出文件目录结构

2、cp 源文件 目标文件: 复制文件或者目录

3、mv 源文件 目标文件:

查看文件内容

1、cat 文件名: 查看文件内容、创建文件、文件合并、追加文件内容等功能（一次完整显示）

2、more 文件名: 分屏显示文件内容（分屏显示）

3、grep 搜索内容（搜索内容有关键词、空格需要加上双引号） 文件名: 搜索文本文件内容

常用的两种模式查找

^a：行首，搜索以a开头的行

d$：行尾，搜索以d结尾的行

其他命令

1、echo 文字内容

echo会在终端中显示参数指定的文字,通常会和重定向联合使用

2、重定向>和>>

表示输出，会覆盖文件原有的内容 （将终端中输入的内容输出到文件中）

表示追加，会将内容追加到已有文件的末尾（将终端中输入的内容追加到文件末尾）

所有命令终端输出结果都可以使用>和>>重定向到文件中例如

3、管道|

Linux允许将一个命令的输出可以通过管道做为另一个命令的输入

可以理解现实生活中的管子，管子的一头塞东西进去，另一头取出来，这里的左右分为两端，左端塞东西(写)，右端取东西(读)

常用的管道命令有:

more: 分屏显示内容

grep: 在命令执行结果的基础上查询指定的文本

远程管理常用命令

关机重启

1
2
3
4
5
6
7

shutdown [选项] [时间]
# 选项 -r 重新启动
showdown -t now 
shutdown 20:10
shutdown +10 #10分钟后关机
shutdown -c  #取消关机
123456

查看网卡信息

1
2
3
4

ip a
ip address
ifconfig
123

ssh命令(远程连接)

1
2
3

ssh [-p 端口号]  用户名@ip(或者域名)
ssh root@ip
12

scp(远程复制文件)

1
2
3
4

scp [-P 端口号] 文件名称或路径 用户名@ip(或者域名):路径 # 复制本地文件到远程服务器
# 选项 -r 若给出的源文件是目录文件 则scp将递归复制该目录下的所有子目录和文件，目标文件必须为一个目录名
scp D:\dir\s.txt root@ip:/tmp
123

1
2
3

scp [-p 端口号]  用户名@ip(或者域名):文件名称或路径 路径 # 复制远程服务器文件到本地
scp zhaosc@192.168.174.129:/home/zhaosc/demo/demo.txt  D:\
12

注：要确认安装ssh服务端和客户端

1
2
3

sudo apt-get install openssh-server
# 安装服务端
12

ssh高级

免密码登录

home目录下 .ssh隐藏文件夹

known_hosts文件存储授权信息

1
2
3

1、配置公钥
执行ssh-keygen即可生成SSH钥匙，一路回车即可
12

id_rsa 和 id_rsa.pub 远程登陆时用来加密使用的文件

1
2
3
4

2、上传公钥到服务器(id_rsa.pub)
执行ssh-copy-id -p port user@remote ，可以让远程服务器记住我们的公钥
ssh-copy-id -p 22 root@47.117.64.2
123

本地使用私钥对数据进行加密/解密 服务器使用公钥对数据进行加密

以上命令在本地客户端执行 需要将本地客户端公钥（id_rsa.pub）添加到远程服务端的 ~/.ssh/authorized_keys中（可以手动添加，注意单行添加）

配置别名（在本地客服端创建 .ssh/config）

1
2
3
4
5
6
7
8
9
10
11
12
13

.ssh/config配置信息如下
---------------------------------
Host aly # 别名
HostName ip # ip/域名
User root # 用户名
Port 22 # 端口号
----------------------------------
登录
ssh aly
复制文件
scp -r aly:/usr/local/tomcat/webapps D:\
---------------------------------
123456789101112

用户和权限

ls -l

权限信息：

文件 -开头； 文件夹 d开头 ；r可读w可写x可执行 权限列为三列(三个一组) 依次是 用户权限 组权限 其他用户权限

用户和组信息：

前面为用户后面为组

chmod命令

1
2

chmod +/- rwx
1

用户组管理

1
2
3

groupadd 组名 # 添加组
groupdel 组名 # 删除组
12

ubuntu 安装 LTS 版本 Node.js

ubuntu 安装 LTS 版本 Node.js

今天在服务器上安装 Node.js ，用了下面的命令：

1
2

$ sudo apt-get update
$ sudo apt-get install nodejs

结果看了下安装的版本居然是 10.x 的，现在 LTS 版本都是 14.x 了，怎么才能安装 LTS 版本呢？网上搜了下可以在安装的时候指定版本：

1

$ sudo apt install nodejs=14.18.1

但是执行却提示找不到版本：

Version ‘14.18.1’ for ‘nodejs’ was not found

又到网上查了下，原来是要添加源之后安装：

1

$ curl -sL https://deb.nodesource.com/setup_14.x | sudo -E bash -

这里添加的是 14.x 的版本，如果安装其他版本，只需要修改添加源地址的数字即可

再次尝试安装：

1

$ sudo apt-get install -y nodejs

安装成功，查看版本号：

1
2

$ node -v # v14.18.1
$ npm -v # 6.14.15

Vmware 无ui启动/停止 虚拟机 , 并优化启动速度

虚拟机设置中 3d加速-> 关闭（没有图形界面打开这个会导致加载很慢）

windows(win10)批处理脚本

打开vm虚拟机的服务,并且开启无界面虚拟机

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

@echo off

net start "vds"

net start "VMAuthdService"

net start "VMnetDHCP"

net start "VMware NAT Service"

net start "VMUSBArbService"

net start "VMwareHostd"

"D:\ApplicationFiles\System\VMware Workstation\vmrun.exe" start "F:\virtualMachine\ubuntu15.1X64\ubuntu15.1X64.vmx" nogui

保存为startvm.bat

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

@echo off

"D:\ApplicationFiles\System\VMware Workstation\vmrun.exe" stop "F:\virtualMachine\ubuntu15.1X64\ubuntu15.1X64.vmx" nogui

net stop "vds"

net stop "VMnetDHCP"

net stop "VMware NAT Service"

net stop "VMwareHostd"

net stop "VMUSBArbService"

net stop "VMAuthdService"

保存为shutdownvm.bat

说明:

D:\ApplicationFiles\System\VMware Workstation\vmrun.exe 为虚拟机安装目录/ps:如果你把vmrun路径加入了环境变量path后,可以直接使用命令vmrun

F:\virtualMachine\ubuntu15.1X64\ubuntu15.1X64.vmx 为虚拟机文件位置

生成的文件创建快捷方式,右键-属性-高级,设置下管理员权限运行,以后双击即可执行

打开还要等个一分钟左右启动好,具体看你的系统性能

接下来就可以正常ssh连接了

下面重点说一下用到的知识点原理

一,首先说一下,window上面如何操作服务(win10 x64)

windows上使用sc命令net命令设置操作服务,批处理关闭服务命令 开启服务命令

使用sc命令：

1 修改服务启动类型

sc config 服务名 start= demand (设置服务为手动启动)

start= auto (设置服务为自动启动)

start= disabled (设置服务为禁用)

2 安装服务：sc create 服务名

3 停止服务：sc stop 服务名

4 启动服务 : sc start 服务名

5 卸载服务：sc delete 服务名（卸载前先停止服务）

使用net命令

查看运行的服务： net start

启动服务： net start 服务名

停止服务： net stop 服务名

卸载服务： 服务名 -uninstall （卸载前先停止服务）

注意注意注意:

start后面不能有空格 =后面的参数需要有一个空格

不是一个单词（含空格）的服务名字,需要用引号

综上所述我们可以使用:

启动服务： net start 服务名 或者 sc start 服务名

停止服务： net stop 服务名 或者 sc stop 服务名

计算机组成原理笔记

Chapter4 指令系统

指令格式设计

基本结构

1. 操作码
2. 源操作数/其地址or立即数：储存单元地址/寄存器编号/io端口
3. 结果的地址：储存单元地址/寄存器编号/io端口
4. 下条地址：通常隐含在PC中（按顺序执行时，下条地址为PC+地址长度）转移指令则跳转到给出的地址。

根据给出的地址个数，分为三、二、单、零地址指令

1. 三：双目运算符两个源操作数地址和一个结果地址
2. 二：双目运算符两个源操作数，其中一个作为结果地址
3. 一：（取反/负）既是操作数地址也是结果地址
4. 零地址：一种是无需，or栈型指令的操作数在栈顶，故不需要

指令格式设计原则

1. 指令尽量短
2. 足够操作码位数
3. 指令长度是字节的整数倍
4. 合理选择地址字段个数
5. 指令应尽量规整

指令系统设计

1. 完备性完整性（指令的操作类型）
2. 兼容性（兼容以前机器的指令）
3. 均匀性（多种数据类型eg：三种整型，两种浮点）
4. 可扩充性（预留一定编码空间，方便扩充）

基本设计问题

操作数类型

1. 指针以及地址
2. 数值数据
3. 位、位串、字符以及字符串

*寻址方式

注意，一条指令若有两个或两个以上的地址码时，各地址码可采用不同的寻址方式。例如，源地址采用一种寻址方式，而目的地址采用另一种寻址方式。

1. 立即寻址：指令直接给出操作数本身

2. 直接寻址：指令中给出操作数的有效地址（直接/绝对地址）

3. 间接寻址：给出操作数的地址的地址（可多重）

4. 寄存器寻址：地址码是操作数所在寄存器编号

   1. 寄存器地址断，故寄存器寻址指令短
   2. 操作数已经在cpu，不访存，速度快

5. 寄存器间接寻址：寄存器中存放操作数的有效地址，需要访存

   

6. 变址寻址：线性表等，给出基准地址，（变址寄存器 I ）给出偏移量

   

   把变址寄存器Rx的内容与指令中给出的形式地址A相加，形成操作数有效地址，即EA=(Rx)+A。Rx的内容称为变址值。
   S=((Rx)+A)

7. 相对寻址：相对寻址是基址寻址的一种变通，由程序计数器PC提供基准地址，指令中的地址码字段作为位移量D，两者相加后得到操作数的有效地址，即 EA=(PC)+D。位移量指出的是操作数和现行指令之间的相对位置。

相对寻址方式的特点：

1. 操作数的地址不是固定的，它随着PC值的变化而变化，并且与指令地址之间总是相差一个固定值±D。当指令地址改变时，由于其位移量不变，使得操作数与指令在可用的存储区内一起移动，所以仍能保证程序的正确执行。采用PC相对寻址方式编写的程序可在主存中任意浮动，它放在主存的任何地方，所执行的效果都是一样的。
2. 由于指令中给出的位移量可正、可负，所以对于指令地址而言，操作数地址可能在指令地址之前或之后。

8. 基址寻址：基址寄存器Rb的内容与指令中给出的位移量D相加，形成操作数有效地址，即EA=(Rb)+D。基址寄存器的内容称为基址值。指令的地址码字段是一个位移量，位移量可正、可负。

S=((Rb)+D)

Conclution

寻址方式指如何在指令中表示要访问的内存地址。表2.4列出了计算机中常用的寻址方式，其中数组mem表示存储器，数组regs表示寄存器，mem[regs[Rn]]表示由寄存器Rn的值作为存储器地址所访问的存储器值。

表 2.4: 常用寻址方式

操作类型

1. 算数和逻辑运算指令：加减乘除/比较/加一减一/位运算
2. 移位指令
3. 传送指令
4. 串指令
5. 顺序控制指令：转移、跳转、跳步、调用、返回
6. CPU控制指令
7. 输入输出指令

操作码编码

1. 定长操作码编码：

长度固定，译码方便，执行指令速度快，但有信息冗余。

1. 扩展操作码编码：

几种固定长度的格式，4-8-12，3-6-9等，多用于非规整性指令集

异常以及中断处理

异常 exception：

也称为例外，执行时cpu内部发生的。

1. 故障：遇到终止程序执行。
2. 自陷：人为埋设，例如断点、单步追踪，处理结束返回下条继续执行。
3. 终止：特殊事件，每条指令执行完都检查有无中断指令，有则将 下条指令作为断点保存，并转到相应断点服务执行，结束后返回断点继续。

   终止与指令执行无关，由CPU外部的I/O部件通过专门的中断请求线向CPU请求

程序的机器级表示

略

quartus是一个配置麻烦的硬件编程平台，本文包括安装配置到常见问题解答，环境优化。

quatrus安装以及modelsim配置

1. quatrus 不操作
2. modism.exe 的文件夹加入到path
3. modism文件夹下，win64下 LISCENSE.TXT 加入到 path（user）

tools->options->general->eda tools 中设置modelsim路径D:\Program\modeltech64_10.4\win64（exe路径文件夹）

常见问题解决以及优化

设置编译器件库位置（新项目都需要）

同时也解决了 Quartus Prime18.0 中解决仿真报错 Error: (vsim-19) Failed to access library 的问题

1. 点击Tools->Launch Simulation Library Compile;
2. 设置“Output directory"为：{项目文件夹}/simulation/qsim，在进行编译,如此设置以后，波形图simulation->simulation settings中的路径直接默认就行

（主要是这里编译的器件库路径要匹配波形图simulation->simulation settings中的路径）

联合vscode开发

点击tools中的options，点击其中的 preferred text editor，在 textx editor栏中选择custom，在command-line中添加如下的信息"E:\Microsoft VS Code\Code.exe" -r -g %f:%l

基于VL版本office的MS_Office精简下载安装激活

YouTube视频

下载官方部署器

访问官方部署器地址：
https://www.microsoft.com/en-us/download/details.aspx?id=49117

直接点击download，下载，并运行。

选择一空文件夹，完成程序。

下载部署自定义文件

访问自定义网址：
https://config.office.com/deploymentsettings

选择: 64位 批量许可证版本的office套件，对应的visio、project（这俩还看起来挺有用的，不用的话选择无）其他产品选择 语言包

应用->选择需要的项目

语言->选择中文

剩下的全部默认

导出->保留当前设置，命名为config

下载该文件，并导入当刚刚的文件夹中

下载、安装

管理员cmd，cd到刚刚的文件夹

运行 setup /download config.xml

等待命令运行完毕（没有提示，等待弹出下一个输入框）

运行 setup /configure config.xml

等待安装完成，重启，看是否激活

未激活就管理员cmd格式下cd C:\Program Files\Microsoft Office\Office16 重启并查看激活状态

还不行直接使用网上搜的kms激活VL版本office方法。

UltraISO 中文破解版 下载链接以及激活码

下载链接：
https://cn.ultraiso.net/uiso9_cn.exe

简体中文版专用：

1
2

注册名：Guanjiu
注册码：A06C-83A7-701D-6CFC

多国语言版专用:

1
2

注册名: Home
注册码: 4BA9-0D54-214A-C938

fork()

pipe() 实现进程通信

每个进程各自有不同的用户地址空间,任何一个进程的全局变量在另一个进程中都看不到，所以进程之间要交换数据必须通过内核,在内核中开辟一块缓冲区,进程A把数据从用户空间拷到内核缓冲区,进程B再从内核缓冲区把数据读走,内核提供的这种机制称为进程间通信。

API函数的使用以及注意点

1
2

#include <unistd.h>
int pipe(int pipefd[2]);

参数说明：

• fd为文件描述符数组，其中fd[0]表示读端，fd[1] 表示写端

返回值：

• 成功返回0，失败返回-1，并且设置errno。

注意点：

1. 管道内 没有数据时，读端（read）发生 阻塞，等待有效数据进行读取
2. 管道容量被 数据填满时，写端（write）发生阻塞，等待进程将数据读走再进行写入
3. 如果所有管道 写端对应的文件描述符被关闭，read返回0，但会将之前管道里的数据读完
4. 如果所有管道的 读端对应的文件描述符被关闭，write操作会产生信号，SIGPIPE,进而导致write进程退出
5. 当要写入的数据量不大于管道的容量（PIPE_BUF）时，linux将保证写入的原子性
6. 当要写入的数据量大于管道容量(PIPE_BUF)时，linux将不再保证写入的原子性

fork子进程并使用pipe通信

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53

#include <unistd.h>
#include <sys/types.h>
#include <iostream>
#include <string>
#include <cstring>
#include <sys/wait.h>
using namespace std;
int main() {
    int pipe_fd[2]; // 0 for reading, 1 for writing
    pid_t cpid;
    char buf;

    // 创建管道
    if (pipe(pipe_fd) == -1) {
        perror("pipe");
    }

    for (int i = 0; i < 4; ++i) {
        cpid = fork();
        if (cpid == -1) {
            perror("fork");
        }

        if (cpid == 0) { // 子进程
            close(pipe_fd[0]); // 关闭读端

            // 发送消息
            string message = "Child " + to_string(getpid()) + " is sending a message to parent!\n";
            write(pipe_fd[1], message.c_str(), message.length());

            close(pipe_fd[1]); // 发送完毕，关闭写端
        } else {
            // 父进程不立即关闭管道，等待所有子进程发送完毕
        }
    }
    // 父进程读取数据
    close(pipe_fd[1]); // 关闭写端

    while (read(pipe_fd[0], &buf, 1) > 0) {
        write(STDOUT_FILENO, &buf, 1);
    }

    close(pipe_fd[0]); // 关闭读端

    // 等待所有子进程退出
    for (int i = 0; i < 4; ++i) {
        wait(NULL);
    }

    return 0;
}

shmget() shmat() shmdt() shmctl() 实现进程间数据同步

int shmget(key_t key, size_t size, int shmflg);

目的：用于创建新的共享内存段或访问一个已存在的共享内存段。

void *shmat(int shmid, const void *shmaddr, int shmflg);

目的：将共享内存段附加到调用进程的地址空间。

int shmdt(const void *shmaddr);

目的：将共享内存段从当前进程的地址空间分离。

int shmctl(int shmid, int cmd, struct shmid_ds *buf);

目的：对共享内存段执行各种控制操作。

示例程序

./2.cpp:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43

#include <iostream>
#include <sys/ipc.h>
#include <sys/shm.h>
#include <cstring>
#include <unistd.h>

#define SHM_SIZE 512  // 定义共享内存的大小

int main() {
    key_t key = ftok("shmfile",65);  // 生成唯一键
    int shmid = shmget(key, SHM_SIZE, 0666|IPC_CREAT);  // 创建共享内存
    if (shmid == -1) {
        perror("shmget");
        exit(1);
    }

    // 将共享内存附加到进程的地址空间
    char *data = (char*) shmat(shmid, (void*)0, 0);
    if (data == (char*)(-1)) {
        perror("shmat");
        exit(1);
    }

    // 等待进程B写入数据
    std::cout << "Waiting for process B to write data...\n";
    sleep(5);  // 简单的同步机制，等待几秒

    // 显示共享内存中的数据
    std::cout << "Data read from shared memory: " << data << std::endl;

    // 分离共享内存
    if (shmdt(data) == -1) {
        perror("shmdt");
        exit(1);
    }

    // 删除共享内存
    shmctl(shmid, IPC_RMID, NULL);

    return 0;
}

./2.1.cpp:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36

#include <iostream>
#include <sys/ipc.h>
#include <sys/shm.h>
#include <cstring>

#define SHM_SIZE 512  // 定义共享内存的大小

int main() {
    key_t key = ftok("shmfile",65);  // 生成唯一键
    int shmid = shmget(key, SHM_SIZE, 0666);  // 访问共享内存
    if (shmid == -1) {
        perror("shmget");
        exit(1);
    }

    // 将共享内存附加到进程的地址空间
    char *data = (char*) shmat(shmid, (void*)0, 0);
    if (data == (char*)(-1)) {
        perror("shmat");
        exit(1);
    }

    // 向共享内存写入数据
    std::cout << "Writing to shared memory\n";
    std::strncpy(data, "Hello from process B!", SHM_SIZE);

    // 分离共享内存
    if (shmdt(data) == -1) {
        perror("shmdt");
        exit(1);
    }

    return 0;
}

AcWing 796.子矩阵的和

第二层矩阵存当前（0，0）-（x，y）和，求x1yx1-x2y2类似于求面积

可理解为坡度(大概)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

#include<iostream>
#include<cmath>
#include<string>
#include<iomanip>
#include<algorithm>
#include<map>
#include<vector>
#include<set>

using namespace std;

typedef long long ll;
const int N=100010;
ll v[N][1000][2]={0};
int main(){
    int n,m,q;
    cin>>n>>m>>q;
        for(int j=1;j<=n;j++){
            for(int i=1;i<=m;i++){
                cin>>v[j][i][0];
                v[j][i][1]=v[j-1][i][1]+v[j][i-1][1]-v[j-1][i-1][1]+v[j][i][0];
            }

        }


    int x1,y1,x2,y2,count;
    for(int i=0;i<q;i++){
        count=0;
        cin>>x1>>y1>>x2>>y2;
        ll count=v[x2][y2][1]-v[x2][y1-1][1]-v[x1-1][y2][1]+v[x1-1][y1-1][1];
        cout<<count<<endl;
    }
}

所谓的“费曼技巧”，来源模糊，需要调查确认，在网上找到了两项证据，可以支持**【**  **通过向别人清楚地解说一件事，来确认自己真的弄懂了这件事。**  **】** ，但费曼本人是否提出过【费曼技巧】，尚未找到证据。无论如何，**上网时请不要轻信未经证实的信息。**

知乎原文

费曼和他的老师曾经提倡过“以教促学”

原文来自 Quora: 如何才能学得快一些 (How can you learn faster)

• 第一步 - 选择一个你想要理解的概念选择一个你想要理解的概念, 然后拿出一张白纸, 把这个概念写在白纸的最上边.
• 第二步 - 设想一种场景，你正要向别人传授这个概念在白纸上写下你对这个概念的解释, 就好像你正在教导一位新接触这个概念的学生一样. 当你这样做的时候, 你会更清楚地意识到关于这个概念你理解了多少, 以及是否还存在理解不清的地方.
• 第三步 - 如果你感觉卡壳了, 就回顾一下学习资料无论何时你感觉卡壳了, 都要回到原始的学习资料并重新学习让你感到卡壳的那部分, 直到你领会得足够顺畅, 顺畅到可以在纸上解释这个部分为止.第四步 - 为了让你的讲解通俗易懂，简化语言表达最终的目的, 是用你自己的语言, 而不是学习资料中的语言来解释概念. 如果你的解释很冗长或者令人迷惑, 那就说明你对概念的理解可能并没有你自己想象得那么顺畅 – 你要努力简化语言表达, 或者与已有的知识建立一种类比关系, 以便更好地理解它。

大型语言模型（llm）是一种特殊的预训练语言模型，通过调整模型大小、预训练语料库和计算来获得。由于llm规模大，对大量文本数据进行预训练，表现出特殊的能力，能够在许多自然语言处理任务中不经过任何特定任务训练的情况下取得显著的性能。
llm的时代始于OpenAI的GPT-3模型，在ChatGPT和GPT4等模型的引入后，llm的流行程度呈指数级增长。
LLM 表现出根据相对较少量的提示或输入做出预测的非凡能力。LLM 可用于生成式人工智能，以根据采用人类语言的输入提示生成内容。

基于transformer架构的LLM：

自注意力机制，关注词和当前输入序列的所有词的关系，提高训练速度

文本token化

每个被一个整数表示

传入嵌入层，每个token被一个向量表示（词向量），向量空间中可以表示更多相关性（多维度）

位置编码

代表词位置的位置向量与词向量组合，使模型同时理解词的意义以及在句中的关系

编码器（多级串联->更深入了解）

多头自注意力机制-> 词之间相关性表示权重

有多头自注意力机制，用来关注文本不同特征方面（动词、名词），并行运算互不影响，每个头的权重是训练中调整的。

位置编码的向量传入，加入自注意力机制的权重表示，输出（三种信息融合在向量里）向量。（同一个词，上下文不同表示不同）

前馈神经网络，增加模型表达能力

解码器（生成）

一个特殊值（便于考虑之前已经生成的上文保持上下文连贯性）已生成的输出序列经过另一编码器，但使用 带掩码的多头自注意力机制，即自注意力头只关注当前词和其之前的词的关系权重，

确保解码器生成文本遵循正确时间顺序

编码器传出的向量（token的抽象表示）->多头自注意力

用来捕捉解码器即将产生成的输出以及编码器输入之间的关系，使输入序列信息融合到解码器输出中

前馈神经网络，增加模型表达能力

线性层，softmax层，转换解码器输出到词汇表概率分布（实现猜下一个词）

扩展

仅解码器：掩码语言建模、情感分析 BERT

仅解码器：猜测上下文文本生成 GPT2、3

解码器解码器模型/ 序列到序列模型：翻译总结 T5、bart

常见的一些配置见_config.icarus.yml，英文不差都能看懂，或者去看icarus文档。本文主要就是一些网上很少的配置。

Icarus: 4.0.0

本地和部署更新不同步

删除public文件夹重新生成

文章页面两栏布局

在 _config.icarus.yml目录下，创建 _config.post.yml文件，该文件内容与 _config.icarus.yml文件一样，用于单独加载post界面布局。注意，双栏需要将widgets内容的position都设置为同一边。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

# 单独文章界面布局
widgets:
    # 个人信息
    -
        position: left
        type: profile
        author: zhaommmmomo
        author_title: fahaxiki!
        location: Yantai,China
        avatar: /img/logo.jpg
        avatar_rounded: false
        follow_link: 'https://zhaommmmomo.cn'
        social_links:
            Github:
                icon: fab fa-github
                url: 'https://github.com/zhaommmmomo'
    # 文章目录
    -
        position: left
        type: toc
        # 目录序号
        index: true
# 侧边栏是否固定
sidebar:
    left:
        sticky: false
    right:
        sticky: false

增加两栏布局下文章的宽度

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

# layout/layout.jsx
module.exports = class extends Component {
    render() {
        ......
            <Head site={site} config={config} helper={helper} page={page} />
        
            # <body class={`is-${columnCount}-column`}>修改为下面一行
            <body class={`is-3-column`}>
                ......
                                # 'is-8-tablet is-8-desktop is-8-widescreen': columnCount === 2
            # 修改为下面一行
                                'is-8-tablet is-8-desktop is-9-widescreen': columnCount === 2,
                                'is-8-tablet is-8-desktop is-6-widescreen': columnCount === 3
                            })} dangerouslySetInnerHTML={{ __html: body }}></div>
......
    }
};

# layout/common/widgets.jsx
function getColumnSizeClass(columnCount) {
    switch (columnCount) {
        case 2:
            # return 'is-4-tablet is-4-desktop is-4-widescreen';# 修改为下面一行
            return 'is-4-tablet is-4-desktop is-3-widescreen';
        case 3:
            return 'is-4-tablet is-4-desktop is-3-widescreen';
    }
}

只固定目录

1
2
3
4
5
6

# source/js/main.js
const $toc = $('#toc');
if ($toc.length > 0) {
    $toc.addClass('column-left is-sticky');# 添加
    ......
}

1
2
3
4

# include/style/widget.styl 添加下面
#toc
    max-height: calc(100vh - 22px)
    overflow-y: scroll