linux磁盘管理
概念 PV,VG,LV构成了一种易于管理拥有一个或多个硬盘的主机的文件系统，这些硬盘可能只有一个分区也可能有多个。通过将这些物理存在的分区(或称为卷)PV(physical volume)进行整合，组成一个分区(卷)组VG(volume group)，进而再次进行分配形成逻辑分区(卷)LV(logical volume)。创建成功的逻辑分区对于操作系统来说会想普通分区无异，其好处是可以动态调整分区大小。管理PV,VG,LV的工具称为逻辑卷管理器LVM(logical volume manager)。
需要指出的是，在某个物理卷在加入卷组时，会将物理卷的最小存储单元设定为一个固定的值，这个值称为PE(physical extent)。这个值的创建，是为了保证用统一的最小分配单元来创建逻辑卷，不至于因为分配单元大小不同而造成空间浪费。举个例子：用于远洋运输的集装箱的设计是是有着统一标准的，最重要一点是集装箱大小完全相同，这样做的好处是集装箱相互堆叠在一起不会留下多余的空隙，完全利用了空间，且便于管理。设定PE的原因也与此相同。LVM以最小分配单元来创建逻辑卷，该最小分配单 ...
linux取证命令——系统信息
Linux静态取证版本信息在\usr\lib\modules下往往有内核版本号
Linux 系统信息仿真取证本指南针对 Linux 环境下的系统信息取证、端口排查、进程管理、状态监控以及环境变量配置等核心知识点进行了详尽的梳理与重构。
网络与端口占用排查技术在系统取证和运维排错中，定位端口和网络连接状态是首要任务。
lsof 命令详解
基础概念：lsof 的全称是 “list open files”，它是一个用于列出当前系统中所打开文件的强大工具。
权限要求：执行带有 -i 等深层探测参数的 lsof 命令时，通常需要 root 用户的最高权限。
核心语法：查看特定端口占用情况的语法格式为 lsof -i:端口号。
实战案例：使用 # lsof -i:8000 可以查看服务器上 8000 端口的占用情况。输出结果会显示占用该端口的 COMMAND（如 nodejs）、PID（进程号，如 26993）、USER（所属用户，如 root）以及状态（如 LISTEN）等详细信息。
扩展参数矩阵：
lsof -i:8080：专门用于查看 8080 端口的占用情况。
lsof abc.txt： ...
ubuntu软件包命令
dpkgdpkg (Debian Package) 是 Debian 系 Linux 发行版（例如 Ubuntu、Debian 等）的底层软件包管理器。它负责安装、构建、删除和管理 .deb 软件包。dpkg 本身并不处理依赖关系的解析，它依赖于 apt、aptitude 等更高级的工具来管理依赖关系。
以下是一些常用的 dpkg 命令及其功能：
dpkg -i <package.deb>: 安装一个 .deb 软件包。
dpkg -r <package>: 删除一个已安装的软件包（保留配置文件）。
dpkg -P <package>: 完全删除一个已安装的软件包（包括配置文件）。
dpkg -l <pattern>: 列出所有已安装的软件包，可以使用 pattern 进行过滤。 这类似于 apt list --installed，但 dpkg -l 提供更详细的信息。
dpkg -s <package>: 显示一个软件包的详细信息，无论它是否已安装。
dpkg -L <package>: 列出一个已安装软件包的 ...
Hadoop下载安装
发展背景传统数据处理架构
结构化数据：数据库、数据仓库
非结构化、半结构化数据：NoSQL数据库、并发程序大数据背景下存在的问题
结构化数据：：单机处理速度慢。MPP架构存在扩展性、热点问题
非结构化、半结构化数据：NoSQL数据库只负责存储；程序处理时涉及到数据移动、速度慢大数据的特征
数据规模巨大
生成和处理速度极快
数据类型多样
价值巨大但密度较低处理场景离线处理场景
数据仓库
搜索与检索实时处理场景
实时流处理hadoop介绍
Hadoop是个软件，是用于解决海量数据的存储和计算问题，适合离线计算
当我们在存储数据时，先记录数据的元信息，还要计算文件的存储位置
hadoop组成部分
HDFS：Hadoop Distributed File System
分布式文件存储系统
MapReduce：数据的分析计算工具
本质就是JAVA写的代码
分片技术：把计算任务分散进行计算
Yarn：资源调度分配平台
zookeeper去中心化设置：目的是为了搭建一个高可用的服务器集群，永不间断
zookeeper集群也要搭建集群，防止记录服务器宕机
安装JDK1.安装jdk版本Jav ...
scrapy的安装与配置
安装这里建议使用虚拟环境来搭建项目
1pip install scrapy //我这个已经默认为清华源了，如果没有设置，需要声明源，否则可能无法下载
如果安装有问题，需要上https://www.lfd.uci.edu/~gohlke/pythonlibs/下载相应配置
然后使用cmd cd到相应下载文件夹，输入：
1pip insatll -i 文件名
完成后便可进入项目环境
配置进入项目并选择好解释器后在命令行中输入scrapy即可查看信息
输入：
1scrapy startproject 项目名称
来搭建项目；
然后输入：
1scrapy genspider 文件名 网站域名
即可使用基础框架。
以上操作完成后即可进行爬虫的编写了。
BeautifulSoup库
[toc]
一、声明1from bs4 import BeautifulSoup
1soup = BeautifulSoup(爬取内容，解释器)
二、基本元素1.对BeautifulSoup库的理解Beautifulsoup是解析、遍历、维护”标签书“的功能库
2.BeautifulSoup类(1)原理123flowchart LR HTML <--> 标签树 标签树 <--> BeautifulSoup类
123from bs4 import BeautifulSoupsoup = BeautifulSoup("<html>data</html>","html.parser")soup2 = BeautifulSoup(open("D://demo.html"),"html.parser")
(2)解析器
解析器
使用方法
条件
bs4的HTML解析器
BeautifulSoup(mk,”html.parser”)
安装bs4库
lxml的 ...
requests库
requests库[toc]
一、请求方法
方法
说明
requests.request()
构造一个请求，支持以下各方法的基础方法
requests.get()
获取HTML网页的主要方法，应对HTTP的GET
requests.head()
获取HTML网页头信息的主要方法，应对HTTP的HEAD
requests.post()
获取HTML网页的POST方法，应对HTTP的POST
requests.put()
HTML网页的POST方法，应对HTTP的POST
requests.patch()
获取HTML网页的PUT方法，应对HTTP的PUT
requests.delete()
向HTML网页提交删除方法，应对HTTP的DELETE
request方法介绍1request.request(method,url,**kwargs)
method:请求方式，对应get/put/post等7种
url:拟获取页面的url链接
**kwargs:**控制访问的参数，共13个，均为可选项
params:字典或字节序列，作为 ...
linux系统变量
Linux的变量种类按变量的生存周期来划分，Linux变量可分为两类：1 永久的：需要修改配置文件，变量永久生效。2 临时的：使用export命令声明即可，变量在关闭shell时失效。
设置变量的三种方法1 在/etc/profile文件中添加变量【对所有用户生效(永久的)】用VI在文件/etc/profile文件中增加变量，该变量将会对Linux下所有用户有效，并且是“永久的”。例如：编辑/etc/profile文件，添加CLASSPATH变量12# vi /etc/profile export CLASSPATH=./JAVA_HOME/lib;$JAVA_HOME/jre/lib注：修改文件后要想马上生效还要运行# source /etc/profile不然只能在下次重进此用户时生效。
2 在用户目录下的.bash_profile文件中增加变量【对单一用户生效(永久的)】用VI在用户目录下的.bash_profile文件中增加变量，改变量仅会对当前用户有效，并且是“永久的”。例如：
编辑guok用户目录(/home/guok)下的.bash_profile
vi /home/gu ...
linux日志取证
系统常规日志/var/log/syslog (或者在一些系统上是 /var/log/messages) 是一个包含各种系统事件的通用日志文件。它通常是系统管理员和安全分析师在排查问题或调查安全事件时的首选资源。
/var/log/syslog 记录的信息非常广泛，包括但不限于：
系统启动和关机信息: 记录系统启动和关机过程中的关键事件。
硬件事件: 例如设备连接、驱动加载失败等。
邮件服务器信息: 例如邮件发送和接收的记录。
系统守护进程信息: 例如 cron、syslogd 等守护进程的运行状态和错误信息。
认证相关信息: 虽然 /var/log/auth.log 更专注于认证事件，但 /var/log/syslog 也可能包含一些认证相关的消息，尤其是在 auth.log 未配置或不可用时。
应用程序日志: 一些应用程序会将日志信息写入 syslog，而不是单独的日志文件。
内核消息: 虽然 /var/log/kern.log 更专注于内核消息，但 /var/log/syslog 也可能包含一些内核相关的消息，尤其是在 kern.log 未配置或不可用时。
其他系统事件: 例如网 ...
密码学基础
密码学基础1.体系12345678910graph TD; 密码学--->现代密码学; 密码学--->古典密码学; 现代密码学-->密码编码学; 现代密码学-->密码分析学; 密码编码学-->对称加密体制; 密码编码学-->非对称加密体制; 密码编码学-->密码协议; 对称加密体制-->流加密算法; 对称加密体制-->分组加密算法;
密码编码学编码是信息按照预先规定方式从一种形式转换为另一种形式的过程
古典密码常见的编码ASCII是基于拉丁字母的一套电脑编码系统，是最通用的信息交换标准
主要分为三个部分：
不可打印的控制字符(0~31)
可打印字符(32~127)
扩展ASCII打印字符(128~255)对称加密体制
加密双方共享同一个密钥来进行加解密计算
模式
12345678flowchart LR id0[m] id1["E(k,m)=c"] id2["D(k,c)=m"] id3[k] id3-->Alice id0-->Alice--&g ...