linux端口占用命令
lsoflsof(list open files)是一个列出当前系统打开文件的工具。
lsof 查看端口占用语法格式:
1lsof -i:端口号
实例查看服务器 8000 端口的占用情况:
123# lsof -i:8000COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAMEnodejs 26993 root 10u IPv4 37999514 0t0 TCP *:8000 (LISTEN)
可以看到 8000 端口已经被轻 nodejs 服务占用。
lsof -i 需要 root 用户的权限来执行,如下图:
更多 lsof 的命令如下:
123456789lsof -i:8080:查看8080端口占用lsof abc.txt:显示开启文件abc.txt的进程lsof -c abc:显示abc进程现在打开的文件lsof -c -p 1234:列出进程号为1234的进程所打开的文件lsof -g gid:显示归属gid的进程情况lsof +d /usr/local/:显示目录下被进程开启的文件lsof ...
basic
一、时间信息1timedatectl status
二、登录信息who命令使用who命令查看当前用户登录状况12ubuntu@ubuntu-xz:~$ whoubuntu-xz pts/3 2020-03-25 08:22 (100.100.89.82)
last命令使用last命令查看最近登录情况last命令列出最近一段时间的用户登录时间及ip记录。(单独执行last指令,它会读取位于/var/log目录下,名称为wtmp的文件,并把该给文件的内容记录的登入系统的用户名单全部显示出来)
12root@ubuntu-xz:/home/ubuntu-xz# lastubuntu-xz pts/1 :0 Thu May 21 12:54 still logged in
lastlog命令使用lastlog命令查看各个用户登录情况lastlog命令列出了各个用户的登录情况,如果没有登录过,则显示Never logged in,如果有登录历史,则显示出ip及登录时间。
123456ubuntu@ubuntu-xz:~$ las ...
linux的路径解释
绝对路径与相对路径Linux中的路径可以分为绝对路径和相对路径,因为根据档名写法的不同,也可以将所谓的路径(path)定义为绝对路径(absolute)和相对路径(relative)。这两种文件名/路径的写法根据是这样的:
绝对路径:由跟目录(/)开始起的文件或者目录名称,例如 /home/dmtais/.bashrc: (绝对路径的写法一定是由 / 目录写起的) 相对路径:相对于目前路径的文件名写法。例如 ./home/dmtsai 或 ../ ../home/dmtsai 等。反正开头不是 / 属于相对路径的写法。(相对路径的写法不是由 / 目录写起的).
当前目录与上层目录 . :代表当前的目录,也可以使用 ./ 来表示; .. :代表上一层目录,也可以 ../ 来表示;这个 . 与 .. 目录的概念是很重要的,你经常看到 cd .. 或 ./command 之类的指令下达方式,就是代表上一层与目前所在目录的工作状态,例:如何先进入到/var/spool/mail/目录,在进入到/var/spool/lpd/目录内
12cd /var/spool/ ...
linux伪终端
伪终端伪终端(pseudo terminal,有时也被称为 pty)是指伪终端 master 和伪终端 slave 这一对字符设备。其中的 slave 对应 /dev/pts/ 目录下的一个文件,而 master 则在内存中标识为一个文件描述符(fd)。伪终端由终端模拟器提供,终端模拟器是一个运行在用户态的应用程序。
Master 端是更接近用户显示器、键盘的一端,slave 端是在虚拟终端上运行的 CLI(Command Line Interface,命令行接口)程序。Linux 的伪终端驱动程序,会把 master 端(如键盘)写入的数据转发给 slave 端供程序输入,把程序写入 slave 端的数据转发给 master 端供(显示器驱动等)读取。请参考下面的示意图(此图来自互联网):
我们打开的终端桌面程序,比如 GNOME Terminal,其实是一种终端模拟软件。当终端模拟软件运行时,它通过打开 /dev/ptmx 文件创建了一个伪终端的 master 和 slave 对,并让 shell 运行在 slave 端。当用户在终端模拟软件中按下键盘按键时,它产生字节流并写入 ...
ssh协议介绍
ssh协议两种机制:基于口令的安全验证机制只要知道自己的账户和口令,就可远程登录到主机。但是不能保证你正在连接的服务器就是想连的服务器。可能有别的服务器的冒充,即“中间人攻击”
基于密钥的安全验证机制需要依靠密钥,自己必须创建一对密钥,将公钥放置在服务器上。如果要连接在SSH服务器上,客服端就会向服务器发出请求,请求你的私钥进行安全验证。服务器收到请求后,先在该服务器所在主目录下寻找公钥,然后和发送过来的私钥比较。如果一致,则验证成功
配置免密ssh1ssh-keygen -t rsa //配置ssh密钥至指定文件rsa中
ssh-keygen—身份验证密钥的生成,管理和转换
将公钥上传至服务端1scp root/.ssh/id_rsa.pub user@ip:/root/.ssh/authorized_keys
shell基础
一、概念shell是一种应用程序,提供了一种界面,用户通过该界面访问操作系统内核的服务
分类
图形界面shell(GUI shell)
命令行式shell(CLI shell)
profile系统环境配置
概述 /etc/profile文件的改变会涉及到系统的环境。
Linux是一个多用户的操作系统。每个用户登录系统后,都会有一个专用的运行环境。通常每个用户默认的环境都是相同的,这个默认环境实际上就是一组环境变量的定义。用户可以对自己的运行环境进行定制,其方法就是修改相应的系统环境变量。
常在/etc/profile文件中修改环境变量,在这里修改的内容是对所有用户起作用的。
1export PATH=$JAVA_HOME/bin:$PATH
这句的意思就是,把$JAVA_HOME/bin 和 $PATH设置为PATH环境变量,由于这里加上了原来的PATH,所以相当于在原来的PATH上增加了$JAVA_HOME/bin 。
$ :指明变量
: :指明执行先后顺序
Hadoop下载安装
安装JDK1.安装jdk版本Java Downloads | Oracle
使用xshell上传至虚拟机
2.将jdk安置在指定位置并解压1234sudo mkdir /root/softwarescd /root/softwaresls -a //查看安装包tar -zxvf [安装包名称] -C /usr/loacl
3.打开系统路径并配置1vim /etc/profile
输入:
12345# jdkexport JAVA_HOME=/usr/local/jdk-17.0.11export PATH=$PATH:$JAVA_HOME/bin
保存并退出
1source /etc/profile
使配置生效
4.检查:1java -version
安装Hadoop跟jdk安装几乎一致,链接:Index of /hadoop/common/hadoop-3.4.0 (apache.org)
系统路径配置12345# Hadoopexport HADOOP_HOME=/usr/local/hadoop-3.4.0export PATH=$PATH:$HADOOP_HOME/bin:$H ...
scrapy的安装与配置
安装这里建议使用虚拟环境来搭建项目
1pip install scrapy //我这个已经默认为清华源了,如果没有设置,需要声明源,否则可能无法下载
如果安装有问题,需要上https://www.lfd.uci.edu/~gohlke/pythonlibs/下载相应配置
然后使用cmd cd到相应下载文件夹,输入:
1pip insatll -i 文件名
完成后便可进入项目环境
配置进入项目并选择好解释器后在命令行中输入scrapy即可查看信息
输入:
1scrapy startproject 项目名称
来搭建项目;
然后输入:
1scrapy genspider 文件名 网站域名
即可使用基础框架。
以上操作完成后即可进行爬虫的编写了。






