浏览模式: 标准 | 列表 技术归总

Linux系统迁移小文件数据

Written by 正冰 on 2021, January 10, 9:40 PM

需要将Linux A服务器数据迁移到Linux B服务器，但是A有较多小文件，通过scp传输会占用较多时间。那么采用先打包（压缩）所有文件，再传输，再解压，则需要人工值守，且时间不一定会少很多。

那么可以采用压缩，传输，解压同步进行的方案：

B为默认开启SSH登录（22端口不变），需要将A当前目录下的web文件夹进行打包传输至B的/home目录下，假设B的IP为192.168.1.2

tar czf - web | ssh root@192.168.1.2 tar xzf - -C /home

若B的ssh端口改了，比如改为1688，则命令如下：

tar czf - web | ssh -p 1688 root@192.168.1.2 tar xzf - -C /home

Filed under: 技术归总 0 Comments 755 Views

CentOS下使用rsync通过ssh同步文件夹

Written by 正冰 on 2020, April 11, 8:55 AM

需求：有A和B这2个CentOS服务器，A的IP为192.168.1.1，B的IP为192.168.1.2，现在需要将A中/test文件夹同步到B中。前提要求开启ssh服务。

方法1：在B上执行（文件夹后面要加/保证只同步该文件夹下的文件夹和文件，如果不加/则会把test文件夹也同步过来），将A上/test/文件夹下的所有文件同步到B上的/test/文件夹中

  • rsync -arvuz /test/ root@192.168.1.1:/test/
ssh默认端口是22，为了安全会A修改成别的端口号比如1688，那么命令就要改成
  • rsync -arvuz /test/ -e 'ssh -p 1688' root@192.168.1.1:/test/
方法2：在A上执行
  • rsync -arvuz root@192.168.1.1:/test/ /test/
以下为rsync命令的相关参数：
  • -v：显示rsync过程中详细信息。可以使用"-vvvv"获取更详细信息。
  • -P：显示文件传输的进度信息。(实际上"-P"="--partial --progress"，其中的"--progress"才是显示进度信息的)。
  • -n --dry-run  ：仅测试传输，而不实际传输。常和"-vvvv"配合使用来查看rsync是如何工作的。
  • -a --archive  ：归档模式，表示递归传输并保持文件属性。等同于"-rtopgDl"。
  • -r --recursive：递归到目录中去。
  • -t --times：保持mtime属性。强烈建议任何时候都加上"-t"，否则目标文件mtime会设置为系统时间，导致下次更新
  •           ：检查出mtime不同从而导致增量传输无效。
  • -o --owner：保持owner属性(属主)。
  • -g --group：保持group属性(属组)。
  • -p --perms：保持perms属性(权限，不包括特殊权限)。
  • -D        ：是"--device --specials"选项的组合，即也拷贝设备文件和特殊文件。
  • -l --links：如果文件是软链接文件，则拷贝软链接本身而非软链接所指向的对象。
  • -z        ：传输时进行压缩提高效率。
  • -R --relative：使用相对路径。意味着将命令行中指定的全路径而非路径最尾部的文件名发送给服务端，包括它们的属性。用法见下文示例。
  • --size-only ：默认算法是检查文件大小和mtime不同的文件，使用此选项将只检查文件大小。
  • -u --update ：仅在源mtime比目标已存在文件的mtime新时才拷贝。注意，该选项是接收端判断的，不会影响删除行为。
  • -d --dirs   ：以不递归的方式拷贝目录本身。默认递归时，如果源为"dir1/file1"，则不会拷贝dir1目录，使用该选项将拷贝dir1但不拷贝file1。
  • --max-size  ：限制rsync传输的最大文件大小。可以使用单位后缀，还可以是一个小数值(例如："--max-size=1.5m")
  • --min-size  ：限制rsync传输的最小文件大小。这可以用于禁止传输小文件或那些垃圾文件。
  • --exclude   ：指定排除规则来排除不需要传输的文件。
  • --delete    ：以SRC为主，对DEST进行同步。多则删之，少则补之。注意"--delete"是在接收端执行的，所以它是在
  •             ：exclude/include规则生效之后才执行的。
  • -b --backup ：对目标上已存在的文件做一个备份，备份的文件名后默认使用"~"做后缀。
  • --backup-dir：指定备份文件的保存路径。不指定时默认和待备份文件保存在同一目录下。
  • -e          ：指定所要使用的远程shell程序，默认为ssh。
  • --port      ：连接daemon时使用的端口号，默认为873端口。
  • --password-file：daemon模式时的密码文件，可以从中读取密码实现非交互式。注意，这不是远程shell认证的密码，而是rsync模块认证的密码。
  • -W --whole-file：rsync将不再使用增量传输，而是全量传输。在网络带宽高于磁盘带宽时，该选项比增量传输更高效。
  • --existing  ：要求只更新目标端已存在的文件，目标端还不存在的文件不传输。注意，使用相对路径时如果上层目录不存在也不会传输。
  • --ignore-existing：要求只更新目标端不存在的文件。和"--existing"结合使用有特殊功能，见下文示例。
  • --remove-source-files：要求删除源端已经成功传输的文件。

参考：https://www.cnblogs.com/f-ck-need-u/p/7220009.html

Filed under: 技术归总 0 Comments 1664 Views

解决可道云KodCloud分享链接失效问题

Written by 正冰 on 2020, April 11, 8:25 AM

有一个内部的数据分享平台是基于目前最新的可道云KodCloud免费版搭建的，系统版本为v4.40, 2019-3-21

而有用户反映就是自己分享的文件链接都失效了，经过查找资料并测试比对发现造成这个问题的原因就是：分享了A目录下的B文件，但是之后却移动了目录或者文件，或者是重命名他们中的目录名或者文件名。

解决方法：找到data/User/用户名/data/share.php文件，一一对应把修改过的目录名或者文件名恢复到之前就可以了。

那么为什么这个系统不能自动修改share.php文件中的信息达到用户重命名目录名或者文件名后分享链接也不会失效呢？这个问题，只能等官方解决了。

参考资料：

基本上都是变动了分享文件造成的，可以检查下：data/User/用户名/data/share.php，这里记录的分享信息，通过分享id查找对应的文件地址，id不存在或文件地址不存在，就都会找不到；这个文件删除了也会找不到。

Filed under: 技术归总 0 Comments 2016 Views

解决ThinkPHP报错： SQLSTATE[HY000] [2002] No ...

Written by 正冰 on 2020, April 9, 8:22 PM

有一个程序是基于ThinkPHP框架写的，直接访问其中的方法是没问题的，但是通过命令行访问就出问题了，提示： SQLSTATE[HY000] [2002] No such file or directory

解决方法就是：在database.php中奖localhost改为127.0.0.1就好了。

Filed under: 技术归总 0 Comments 2273 Views

阿里云ECS云服务器安装LNMP后开放远程访问mysql权限

Written by 正冰 on 2020, March 28, 7:24 AM

最近阿里云代理商一直打电话让我参加他们的新用户活动，无奈作为阿里云老客户已经享受不到这种优惠了，代理商说可以拿亲戚账号开通自己用（其实我知道可以这样操作只是懒得操作）。在代理商的循循善诱下（过了这村没有那店了）。我就开通了一个……

阿里云esc新用户优惠价.png 大小: 62.27 K 尺寸: 300 x 213 浏览: 36 次 点击打开新窗口浏览全图

配置：

  • 型号：共享标准型 s6（ecs.s6-c1m2.small）
  • CPU：Intel(R) Xeon(R) Platinum 8269CY CPU @ 2.50GHz
  • 内存：2G
  • 硬盘：40G
  • 带宽：1M
  • 机房：北京、张家界、杭州
  • 费用：￥69.86/年，209.77/3年（领取20元优惠券抵扣价）

1M小水管放点企业站绰绰有余了……

云服务器选择了CentOS Linux系统，很多人会选择宝塔面板，我还是习惯于用LNMP面板，一键安装只用了26分钟（性能不错）。

安装完成后，有个需求就是需要开放MySQL服务远程访问权限（只需要访问MySQL中一个数据库），秉承最小权限就是最大安全的原则进行如下操作：

1、先开放阿里云安全组（在阿里云云服务器控制面板里完成），添加80、443、3306的远程访问权限：实例->安全组->配置规则->快速创建规则->勾选常用端口中的80、443、3306端口->授权对象设置为0.0.0.0/0（如果是固定IP访问MySQL则需要单独设置3306规则中的授权对象）

2、再进入CentOS系统中，使用lnmp命令新增一个需要远程访问的Mysql数据库和数据库用户（lnmp database add），新增完成后还需要对这个用户（假设数据库为is36，用户为is36）授予远程访问权限。命令行进入数据库操作（mysql -uroot -p），再进入mysql数据库表（use mysql;)，对is36用户修改访问权限（update User set Host='%' where User='is36' and Host='localhost';），然后刷新权限（flush privileges;）。别的文章都是说授予root用户远程访问权限，所以到刷新权限这一步就完成了，但是这里的话因为只是授予is36用户可以远程访问is36数据库，虽然is36用户是被授予远程访问了，但是is36数据库却还没有允许is36远程访问。那么在刷新权限前还需要进行一步操作：对is36数据库更新is36用户的远程访问权限（update db set Host='%' where User='is36' and Host='localhost';）。

3、最后对CentOS系统中防火墙进行设置，默认3306是不允许访问的，先查看防火墙设置（iptables -L -n --line-numbers），可以看到第6条规则是不允许3306访问的，所有的访问都是drop掉的，那么需要删除这条规则（iptables -D INPUT 6），然后再新增一下3306的访问权限（iptables -A INPUT -p tcp --dport 3306 -j ACCEPT）（iptables -I INPUT -p tcp --dport 3306 -j ACCEPT)，正常情况下这样子就通了，如果最终发现不通，可以重启一下防火墙（service iptables save && service iptables restart）

完成。

Filed under: 技术归总 0 Comments 1794 Views

使用mysqldump导出mysql数据中指定表中的指定数据

Written by 正冰 on 2020, March 21, 2:06 PM

有个mysql数据库名为db1，里面有个table1表，表中有几千万条数据，目前有个需求，需要把这个表中2020年3月21日的数据导出到sql文件，下载到本地并导入本地数据库中。

命令如下：mysqldump -uroot -p db1 table1 --where="date like '2020-03-21%'" > table1.sql

解释：使用数据库的root用户导出db1数据库中table1标中符合条件的数据（date是2020年3月21日）到当前目录下的tables1.sql文件。

 

Filed under: 技术归总 0 Comments 2510 Views

解决MySQL数据库InnoDB引擎ERROR 1033 (HY000): In...

Written by 正冰 on 2020, March 21, 1:16 PM

今天在操作某个MySQL数据库（InnoDB引擎）的test表的时候，出现了问题，导致该表无法访问，访问的时候就提示错误：ERROR 1033 (HY000): Incorrect information in file: './test/test.frm'

按照错误信息提示信息的意思就是这个frm后缀的文件存在错误信息，那么这个文件是干什么的呢？为什么访问数据表会提示这个信息？怎么修复？

frm是MySQL表结构定义文件，通常frm文件是不会损坏的，但是如果出现特殊情况出现frm文件损坏也不要放弃希望，当修复MyISAM和InnoDB表时，MySQL服务会首先去调用frm文件，所以我们只能通过修复frm文件进行后面的数据恢复。

也就是说frm是表结构文件，通过mysql数据库自带的修复命令无法修复成功，只能另辟蹊径。

方法：找到该数据表的备份sql文件，另外建立一个数据库test2，将备份文件导入该数据库中，然后在命令行下先将原来的test数据库中的test.frm重命名一下，再将test2数据库的test.frm文件复制test数据库目录下。再次访问test表，没有问题了。

Filed under: 技术归总 0 Comments 2516 Views

在Mac系统下给树莓派安装CentOS系统+LNMP运行环境

Written by 正冰 on 2020, February 27, 10:08 PM

本文更新于2020年2月27日

0、下载树莓派专用的CentOS系统

  • http://mirrors.huaweicloud.com/centos-altarch/7.7.1908/isos/armhfp/CentOS-Userland-7-armv7hl-RaspberryPI-Minimal-1908-sda.raw.xz

1、安装xz解压命令

  • 访问https://tukaani.org/xz/下载最新压缩包，最新的是xz-5.2.4.tar.gz

2、解压缩并安装

  • tar zxvf xz-5.2.4.tar.gz
  • ./configure
  • make && make install

3、验证安装结果并解压缩CentOS树莓派版压缩包

  • xz -V
  • xz -d CentOS-Userland-7-armv7hl-RaspberryPI-Minimal-1908-sda.raw.xz

4、插入TF卡后使用df -h查看磁盘名称并卸载

  • df -h
  • diskutil unmount /dev/disk3s1
  • sudo dd bs=4m if=CentOS-Userland-7-armv7hl-RaspberryPI-Minimal-1908-sda.raw of=/dev/rdisk3
  • diskutil unmount /dev/disk3s1

5、把TF卡插到树莓派中，连接路由器并通电，登录路由器后台获取树莓派IP

6、远程登录，root密码centos，将时区改为上海时区并同步最新时间

  • timedatectl set-timezone Asia/Shanghai
  • yum -y install ntp
  • ntpdate ntp1.aliyun.com

7、默认分区不合理，需要把所有空间都划到根目录

  • 查看分区挂载情况 lsblk
  • NAME        MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
  • mmcblk0     179:0    0 14.9G  0 disk 
  • ├─mmcblk0p2 179:2    0  488M  0 part [SWAP]
  • ├─mmcblk0p3 179:3    0  1.4G  0 part /
  • └─mmcblk0p1 179:1    0  286M  0 part /boot

8、查看到/根目录的挂载的位置是/dev/mmcblk0p3，只需要怼它进行调整

  • fdisk /dev/mmcblk0 #执行扩展分区操作
  • p #查看旧分区情况，记录p3位置起始为1593344
  • d #删除分区，默认是3号分区
  • n #添加一个分区，空间起始位置（First sector）输入1593344，然后一路回车完成
  • p #查看新分区情况
  • w #写入分区信息并退出软件

9、重启系统，开机后执行命令重新加载分区信息

  • reboot
  • resize2fs /dev/mmcblk0p3
  • df -h

10、安装个LNMP玩玩（宝塔不支持32位系统）

  • yum -y install wget && wget http://soft.vpser.net/lnmp/lnmp1.6.tar.gz -cO lnmp1.6.tar.gz && tar zxf lnmp1.6.tar.gz && cd lnmp1.6 && ./install.sh lnmp

11、花了2小时完成安装

  • Install lnmp takes 129 minutes.
  • Install lnmp V1.6 completed! enjoy it.

12、其它

  • LNMP安装选择的版本是：nginx-1.16.1+mysql-5.5.62+php-5.6.40+Enable InnoDB
  • CentOS系统版本：CentOS Linux release 7.7.1908 (AltArch)

Filed under: 技术归总 0 Comments 2019 Views

Total:273‹ Prev12345678Next ›Last »