Trước đây mình vẫn dùng VPS để chứa các bản backup sử dụng công cụ Duplicity hoặc Rsync. Tuy nhiên, hiện giờ đã có một phương pháp mới hiệu quả hơn, tiết kiệm hơn (Free), đó là sao lưu lên Cloud với Rclone.

backup-server-google-drive

Rclone là một công cụ đồng bộ hóa dữ liệu tương tự Rsync nhưng lại được tập trung phát triển chức năng kết nối với các dịch vụ lưu trữ đám mây.

Ưu điểm của việc sử dụng dịch vụ lưu trữ đám mây đó là tốc độ cao (do có server được đặt trên khắp thế giới), an toàn dữ liệu (không lo ngại các vấn đề phần cứng, network) và nhất là hầu hết đều Free. Mình đặc biệt thích những thứ Free!

Rclone hỗ trợ rất nhiều dịch vụ Cloud thông dụng như:

  • Google Drive
  • Amazon S3
  • Openstack Swift / Rackspace cloud files / Memset Memstore
  • Dropbox
  • Google Cloud Storage
  • Amazon Drive
  • Microsoft OneDrive
  • Hubic
  • Backblaze B2
  • Yandex Disk
  • SFTP
  • The local filesystem

Xem thêm test tốc độ upload Rclone.

Giờ thay vì backup đưa lên VPS khác để lưu trữ, mình chuyển sang sử dụng Google Drive, dung lượng miễn phí 15GB, mua thêm cũng khá rẻ, chỉ 45k/tháng là được 100GB rồi. Bạn nào có tài khoản Google Apps miễn phí nữa thì càng tuyệt vời.

Trong bài viết này sẽ có 2 phần chính, 1 là cài đặt Rclone trên VPS, 2 là sử dụng Rclone để upload backup lên Google Drive. Với những cloud service khác các bạn làm tương tự.

Việc tạo file backup toàn bộ dữ liệu VPS mình đã hướng dẫn chi tiết trong bài viết Hướng dẫn tự động sao lưu toàn bộ VPS, bài viết này sẽ chỉ tập trung vào việc cài đặt tự động upload file nén lên Google Drive. Xem thêm hướng dẫn sử dụng Rclone với Google Drive và các dịch vụ cloud khác tại Rclone Docs.

Kịch bản tự động backup như sau:

  • Sao lưu toàn bộ database MySQL, mỗi database một file .gz
  • Sao lưu toàn bộ code trong thư mục /home/domain.com/public_html/
  • Sao lưu toàn bộ cấu hình Nginx trong thư mục /etc/nginx/conf.d/
  • Tổng hợp tất cả dữ liệu vào 1 folder
  • Upload file backup lên Google Drive vào lúc 2h00 sáng
  • Tự động xóa file backup trên VPS sau khi upload xong, xóa file backup trên Cloud nếu quá 2 tuần

Giờ bắt đầu vào việc nhé.

I. Hướng dẫn cài đặt Rclone

1. Cài đặt Rclone

Rclone là một chương trình dòng lệnh nên mình sẽ down xuống rồi di chuyển file chạy đến thư mục /usr/sbin/ của VPS để sử dụng sau này.

Chú ý : Nếu bạn đã cài đặt phiên bản cũ, cũng chỉ cần chạy chuỗi lệnh dưới để update. Tham khảo Changelog các phiên bản.

– Cài đặt với phiên bản hệ điều hành Linux 64bit

cd /root/
wget http://downloads.rclone.org/rclone-v1.36-linux-amd64.zip
unzip rclone-v1.36-linux-amd64.zip
\cp rclone-v*-linux-amd64/rclone /usr/sbin/
rm -rf rclone-*

– Cài đặt với phiên bản hệ điều hành Linux 32bit

cd /root/
wget http://downloads.rclone.org/rclone-v1.36-linux-386.zip
unzip rclone-v1.36-linux-386.zip
\cp rclone-v*-linux-386/rclone /usr/sbin/
rm -rf rclone-*

Link download trực tiếp các phiên bản Rclone.

Giờ bạn có thể sử dụng lệnh rclone để xem thêm thông tin sử dụng.

2. Một số câu lệnh thông dụng

Các câu lệnh sử dụng Rclone thường có dạng như sau:

rclone command <parameters> <parameters...>

Trong đó command là câu lệnh, parameters là các tham số.

Một số lệnh thông dụng khi dùng Rclone:

  • rclone config – Cấu hình kết nối đến dịch vụ cloud.
  • rclone copy – Copy files từ server đến cloud, skip nếu đã tồn tại dữ liệu.
  • rclone sync – Synchronize giữa server và cloud, chỉ update dữ liệu trên cloud mà thôi.
  • rclone move – Move files từ server lên cloud.
  • rclone delete – Xóa dữ liệu của folder.
  • rclone purge – Xóa dữ liệu của folder và toàn bộ nội dung bên trong.
  • rclone mkdir – Tạo folder.
  • rclone rmdir – Xóa folder trống tại đường dẫn.
  • rclone rmdirs – Xóa toàn bộ folder trống tại đường dẫn.
  • rclone check – Kiểm tra dữ liệu server và cloud có đồng bộ hay không.
  • rclone ls – Liệt kê toàn bộ dữ liệu gồm size và path.
  • rclone lsd – Liệt kê toàn bộ thư mục.
  • rclone lsl – Liệt kê toàn bộ dữ liệu gồm modification time, size và path.
  • rclone size – Trả về kích thước thư mục.

Thông tin chi tiết từng lệnh bạn xem thêm ở đây.

II. Backup VPS lên Cloud với Rclone

1. Tạo kết nối với Google Drive

Đầu tiên chúng ta sẽ cấu hình kết nối Rclone với Google Drive, việc này chỉ phải làm 1 lần duy nhất. Kết nối được tạo tên remote

Kết nối SSH với VPS rồi chạy lệnh:

rclone config

Bạn sẽ nhận được thông báo: No remotes found - make a new one, nhập n rồi nhấn Enter để tạo kết nối mới.

Ở dòng name bạn nhập remote để đặt tên cho kết nối, bạn có thể chọn tên nào cũng được.

Một danh sách các dịch vụ cloud xuất hiện, hãy chọn số 7, Google Drive rồi nhấn Enter.

Ở 2 dòng tiếp theo client_idclient_secret, bạn hãy để trống nhấn Enter.

Khi được hỏi Use auto config? hãy nhập n rồi nhấn Enter. Ngay lập tức, Rclone sẽ đưa ra một đường link, bạn có thể click thẳng vào đó hoặc copy rồi paste vào trình duyệt.

tao-ket-noi-google-drive-2

Giao diện sẽ xuất hiện như sau:

cap-quyen-cho-rclone-truy-cap-google-drive

Nhấn nút Allow để đồng ý, sau đó bạn sẽ nhận được đoạn mã verification code như hình dưới:

ma-verification-code

Quay trở lại cửa sổ SSH, copy rồi paste code này vào dòng Enter verification code> rồi nhấn Enter.

Rclone cần xác nhận thông tin một lần nữa, bạn nhấn y để đồng ý rồi nhấn q để thoát khỏi giao diện cấu hình kết nối.

Toàn bộ quá trình cài đặt sẽ tương tự như sau:

No remotes found - make a new one
n) New remote
r) Rename remote
c) Copy remote
s) Set configuration password
q) Quit config
n/r/c/s/q> n
name> remote
Type of storage to configure.
Choose a number from below, or type in your own value
 1 / Amazon Drive
   \ "amazon cloud drive"
 2 / Amazon S3 (also Dreamhost, Ceph, Minio)
   \ "s3"
 3 / Backblaze B2
   \ "b2"
 4 / Dropbox
   \ "dropbox"
 5 / Encrypt/Decrypt a remote
   \ "crypt"
 6 / Google Cloud Storage (this is not Google Drive)
   \ "google cloud storage"
 7 / Google Drive
   \ "drive"
 8 / Hubic
   \ "hubic"
 9 / Local Disk
   \ "local"
10 / Microsoft OneDrive
   \ "onedrive"
11 / Openstack Swift (Rackspace Cloud Files, Memset Memstore, OVH)
   \ "swift"
12 / SSH/SFTP Connection
   \ "sftp"
13 / Yandex Disk
   \ "yandex"
Storage> 7
Google Application Client Id - leave blank normally.
client_id>
Google Application Client Secret - leave blank normally.
client_secret>
Remote config
Use auto config?
 * Say Y if not sure
 * Say N if you are working on a remote or headless machine or Y didn't work
y) Yes
n) No
y/n> n
If your browser doesn't open automatically go to the following link: https://accounts.google.com/o/oauth2/auth
Log in and authorize rclone for access
Enter verification code> x/xxxxxxxxx-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
--------------------
[remote]
client_id =
client_secret =
token = {"access_token":"xxxx.xxxxx-xxxxxxxxxxxxxxx_xxxxxxxxxx-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx","token_type":"Bearer","refresh_token":"1/xxxxxxxxxxxxxxxx_xxxxxxxxxxxxxxxxxxxxxxxxxx","expiry":"2016-09-12T00:12:53.66619724-04:00"}
--------------------
y) Yes this is OK
e) Edit this remote
d) Delete this remote
y/e/d> y
Current remotes:

Name Type
==== ====
remote drive

e) Edit existing remote
n) New remote
d) Delete remote
r) Rename remote
c) Copy remote
s) Set configuration password
q) Quit config
e/n/d/r/c/s/q> q

Đoạn nào bôi đỏ là cần nhập input

Vậy là xong, giờ bạn có thể test thử kết nối với lệnh: rclone lsd remote:

Nếu không có vấn đề gì sẽ có output tương tự như bên dưới:

test-thu-rclone

Tài khoản Google Drive này của mình mới tạo, chưa upload gì lên, chỉ có file mặc định Getting started.

2. Tạo kết nối với AmazonDrive/OneDrive/Yandex

Hiện nay, bên cạnh GG Drive, các Cloud khác cũng dần trở nên phổ biến và có nhiều ưu đãi cho người dùng. Việc tạo kết nối tới Amazon Drive/OneDrive/Yandex tương tự GG Drive, chỉ khác biệt bước lấy access_token.

Việc xác thực được thực hiện qua remote machine có trình duyệt (ví dụ máy tính của bạn) với lệnh rclone authorize "tên_cloud".

Mình chỉ ví dụ cụ thể OneDrive, đến bước xác thực:

Remote config
Use auto config?
 * Say Y if not sure
 * Say N if you are working on a remote or headless machine
y) Yes
n) No
y/n> n
For this to work, you will need rclone available on a machine that has a web browser available.
Execute the following on your machine:
        rclone authorize "onedrive"
Then paste the result below:
result>

Rclone yêu cầu chạy lệnh rclone authorize "onedrive" tại máy đang sử dụng để lấy access_token.

  1. Tải Rclone về máy cá nhân (bản cho Windows/OSX) tại Rclone Downloads. Cụ thể, Windows AMD64 – 64 Bit được file rclone-v1.36-windows-amd64.zip. Bên trong có file rclone.exe để chạy trên cửa sổ lệnh. Ví dụ đường dẫn file D:\Rclone/rclone.exe
  2.  Mở ứng dụng CMD của Windows (Run -> cmd) rồi chạy rclone authorize "onedrive" với đường dẫn file. Khi đó, lệnh sẽ tương tự D:\Rclone\rclone.exe authorize "onedrive"
  3. Browser bật ra yêu cầu bạn đăng nhập để xác thực. Thành công sẽ hiện thông báo Success. Go back to rclone to continue trên trình duyệt. Quay lại ứng dụng CMD bạn copy access_token để xác thực bên VPS.


Chú ý, khi copy access_token từ CMD bạn paste qua trình edit text (EmEditor/Notepad++) để loại bỏ hoàn toàn các kí tự thừa gây cách dòng. Khi đó, access_token chỉ là 1 chuỗi kí tự liền mạch duy nhất(dạng {"access_token":"..."expiry":"..."}).

3. Script backup toàn bộ VPS và upload lên Cloud

Trong bài Hướng dẫn tự động sao lưu toàn bộ VPS mình đã chia sẻ script tự động backup VPS, tuy nhiên trong bài này mình sẽ chỉnh sửa lại một chút, để script tự động upload lên Cloud sau khi tạo xong file nén.

Script hoạt động với Rclone phiên bản 1.35 trở lên. Kết nối Rclone với Cloud tên remote.

Script này mình viết theo cấu trúc folder trên server do HocVPS Script quản lý. Với những server khác, các bạn cần điều chỉnh lại một chút thì mới hoạt động được.

– Tạo file backup.sh ở thư mục /root/

nano /root/backup.sh

– Copy toàn bộ nội dung script bên dưới rồi paste vào (áp dụng với HocVPS Script 2.0 trở lên)

# HocVPS Script Plugin - Backup Server and Upload to Cloud

#!/bin/bash

SERVER_NAME=HOCVPS_BACKUP

TIMESTAMP=$(date +"%F")
BACKUP_DIR="/root/backup/$TIMESTAMP"
MYSQL=/usr/bin/mysql
MYSQLDUMP=/usr/bin/mysqldump
SECONDS=0

mkdir -p "$BACKUP_DIR/mysql"

echo "Starting Backup Database";
databases=`$MYSQL -e "SHOW DATABASES;" | grep -Ev "(Database|information_schema|performance_schema|mysql)"`

for db in $databases; do
	$MYSQLDUMP --force --opt --databases $db | gzip > "$BACKUP_DIR/mysql/$db.gz"
done
echo "Finished";
echo '';

echo "Starting Backup Website";
# Loop through /home directory
for D in /home/*; do
	if [ -d "${D}" ]; then #If a directory
		domain=${D##*/} # Domain name
		echo "- "$domain;
		zip -r $BACKUP_DIR/$domain.zip /home/$domain/public_html/ -q -x /home/$domain/public_html/wp-content/cache/**\* #Exclude cache
	fi
done
echo "Finished";
echo '';

echo "Starting Backup Nginx Configuration";
cp -r /etc/nginx/conf.d/ $BACKUP_DIR/nginx/
echo "Finished";
echo '';

size=$(du -sh $BACKUP_DIR | awk '{ print $1}')

echo "Starting Uploading Backup";
/usr/sbin/rclone move $BACKUP_DIR "remote:$SERVER_NAME/$TIMESTAMP" >> /var/log/rclone.log 2>&1
# Clean up
rm -rf $BACKUP_DIR
/usr/sbin/rclone -q --min-age 2w delete "remote:$SERVER_NAME" #Remove all backups older than 2 week
/usr/sbin/rclone -q --min-age 2w rmdirs "remote:$SERVER_NAME" #Remove all empty folders older than 2 week
echo "Finished";
echo '';

duration=$SECONDS
echo "Total $size, $(($duration / 60)) minutes and $(($duration % 60)) seconds elapsed."

# HocVPS Script Plugin - Backup Server and Upload to Cloud

#!/bin/bash

. /etc/hocvps/scripts.conf

SERVER_NAME=HOCVPS_BACKUP

TIMESTAMP=$(date +"%F")
BACKUP_DIR="/root/backup/$TIMESTAMP"
MYSQL_USER="root"
MYSQL=/usr/bin/mysql
MYSQL_PASSWORD=$mariadbpass
MYSQLDUMP=/usr/bin/mysqldump
SECONDS=0

mkdir -p "$BACKUP_DIR/mysql"

echo "Starting Backup Database";
databases=`$MYSQL --user=$MYSQL_USER -p$MYSQL_PASSWORD -e "SHOW DATABASES;" | grep -Ev "(Database|information_schema|performance_schema|mysql)"`

for db in $databases; do
	$MYSQLDUMP --force --opt --user=$MYSQL_USER -p$MYSQL_PASSWORD --databases $db | gzip > "$BACKUP_DIR/mysql/$db.gz"
done
echo "Finished";
echo '';

echo "Starting Backup Website";
# Loop through /home directory
for D in /home/*; do
	if [ -d "${D}" ]; then #If a directory
		domain=${D##*/} # Domain name
		echo "- "$domain;
		zip -r $BACKUP_DIR/$domain.zip /home/$domain/public_html/ -q -x /home/$domain/public_html/wp-content/cache/**\* #Exclude cache
	fi
done
echo "Finished";
echo '';

echo "Starting Backup Nginx Configuration";
cp -r /etc/nginx/conf.d/ $BACKUP_DIR/nginx/
echo "Finished";
echo '';

size=$(du -sh $BACKUP_DIR | awk '{ print $1}')

echo "Starting Uploading Backup";
/usr/sbin/rclone move $BACKUP_DIR "remote:$SERVER_NAME/$TIMESTAMP" >> /var/log/rclone.log 2>&1
# Clean up
rm -rf $BACKUP_DIR
/usr/sbin/rclone -q --min-age 2w delete "remote:$SERVER_NAME" #Remove all backups older than 2 week
/usr/sbin/rclone -q --min-age 2w rmdirs "remote:$SERVER_NAME" #Remove all empty folders older than 2 week
echo "Finished";
echo '';

duration=$SECONDS
echo "Total $size, $(($duration / 60)) minutes and $(($duration % 60)) seconds elapsed."


Update 3/5/2017:
– Cập nhật lại script sử dụng với phiên bản HocVPS Script mới nhất 2.0.

Lưu ý:

  • Script trên sẽ back up toàn bộ database, mỗi database nén thành một file .gz, lưu trong thư mục mysql
  • Mỗi thư mục chứa website được nén lại thành 1 file .zip
  • Toàn bộ cấu hình Nginx của các website được lưu trong thư mục nginx
  • SERVER_NAME mặc định là HOCVPS_BACKUP, nếu muốn thay đổi folder trên Cloud bạn hãy thay đổi tham số này.
  • Muốn điều chỉnh thời gian xóa file backup, bạn sửa thông số ở dòng deletermdirs. Cụ thể, chuyển 2w thành xd (ngày) hoặc xw (tuần) tùy theo nhu cầu.

– Nhấn Ctrl+O, Enter để lưu và Ctrl+X để thoát.

– Phân quyền cho script

chmod +x /root/backup.sh

– Vậy là xong rồi đó, giờ bạn có thể test lại bằng cách chạy lệnh:

/root/backup.sh

Thử kiểm tra trên Cloud xem có thư mục mới với dữ liệu backup chưa nhé, hoặc test với lệnh rclone lsl remote:HOCVPS_BACKUP

Nếu không có vấn đề gì sẽ thấy kết quả trả về có một thư mục là ngày hiện tại, bên trong có chứa file nén website (.ZIP), cấu hình Nginx (.CONF) và database (.GZ).

4. Tạo cronjob tự động backup hàng ngày

Giờ mình sẽ cho script tự động chạy lúc 2h00 sáng.

EDITOR=nano crontab -e

Dán nội dung sau vào cửa sổ Terminal

0 2 * * * /root/backup.sh > /dev/null 2>&1

Nhấn Ctrl+O, Enter để lưu và Ctrl+X để thoát

Vậy là xong, cứ 2h sáng hàng ngày script sẽ tự động chạy, backup toàn bộ dữ liệu của VPS rồi upload lên Cloud. Đồng thời, dữ liệu backup trên VPS sẽ được xóa luôn sau khi upload xong.

Xem thêm hướng dẫn sử dụng cronjob.

III. Tải file backup từ Cloud xuống VPS

Cách đơn giản nhất để bạn khôi phục lại dữ liệu đó là tải file backup từ Cloud xuống máy tính, rồi tùy theo nhu cầu mà up trở lại lên VPS.

Tuy nhiên, nếu muốn tải trực tiếp file backup về VPS, bạn có thể sử dụng luôn Rclone với câu lệnh copy.

Ví dụ tham khảo:

rclone copy "remote:/HOCVPS_BACKUP/2017-11-01" /root/

Lệnh trên sẽ copy folder 2017-11-01 trong thư mục HOCVPS_BACKUP trên Cloud về thư mục /root/ của VPS. Tốc độ upload và download từ Cloud đều rất nhanh.
Sau khi copy dữ liệu backup về VPS, bạn tiến hành giải nén file zip, copy thư mục web và nginx về đúng vị trí đồng thời tiến hành import database.

IV. Tổng kết

Công việc backup VPS/Server là việc vô cùng quan trọng, mình đã từng mất toàn bộ dữ liệu không khôi phục được do ấn nhầm Rebuild và chủ quan không backup. Hi vọng với bài hướng dẫn chi tiết này, các bạn sẽ có thêm phương pháp mới tiết kiệm và hiệu quả hơn.

Giờ đến lượt các bạn làm theo đó, cần hỗ trợ gì thêm hoặc góp ý gì cứ comment bên dưới nhé.

Comment của bạn

Your email address will not be published. Required fields are marked *

554 Comments

  1. Toàn 5 comment

    Hiện tại mình cài script này bị lỗi, mình mới cài phiên bản script hocvps 2.0.3 php 7.1 rồi cài bản này. Mình copy y nguyên nó báo lỗi tùm lum. Đầu tiên là cách dòng cũng bị báo lỗi, dấu ; ở cuối bị báo lỗi, phải xóa cách dòng , xóa ;, nhưng sau đó vẫn bị lỗi ở đoạn for in do, hình như ko được để dấu ;, mà bỏ ra cũng lỗi. Luân kiểm tra lại giúp được không.

    1. Việt Phương Moderator

      Bạn copy y nguyên trên SSH Terminal nhé, không sửa trên trình text rồi upload file lên VPS.
      Ngoài ra, một số trường hợp bạn cần convert lại file script vừa tạo
      Bạn cần convert file sang định dạng UNIX thì sau đó dùng # /root/backup.sh bình thường.

      # yum install dos2unix
      # dos2unix /root/backup.sh
      1. Toàn 5 comment

        à ok bạn, được rồi, mình copy vào file text rồi up lên lại ko được. Sửa trực tiếp lại được @@

        1. Việt Phương Moderator

          Do khác biệt về môi trường editor thôi. Nên mình mới bảo vấn đề của copy paste là thế

  2. Binh Nguyen 29 comment

    Mình đã tải file bằng rclone từ drive về VPS xong, Cho mình hỏi “copy thư mục web và nginx” không bít Thư mục nginx nó nằm ở vị trí nào ạ 🙁

    1. Việt Phương Moderator

      Tùy hệ thống. HocVPS và nhiều hệ thống khác thường là ở /etc/nginx/conf.d

  3. Khôi 1 comment

    Xin chào Luân,
    Mình đang dùng script này theo huớng dẫn của bạn, hoạt động rất tốt trên Googl Drive/ GSuite for Business. Nhưng hôm nay mình test mãi nó chẳng work với thằng OneDrive Business, cứ báo lỗi này:
    Failed to create file system for “remote:”: failed to get root: unauthenticated: Must be authenticated to use ‘/drive’ syntax

    Token_access mình lấy trên macOS hoàn toàn chính xác. Không biết bạn có kinh nghiệm vụ này ko?

    1. Việt Phương Moderator

      Bạn test upload thủ công qua remote OneDrive hiện thông báo full như thế nào. Mình nghi do cấu trúc thư mục quy định trong script của bạn

    1. Việt Phương Moderator

      Được bạn nhé, bạn chỉnh sửa mật khẩu MySQL, đường dẫn source code và đường dẫn thư mục Nginx Vhost phù hợp là được

  4. Ha 4 comment

    Mình backup giờ phục hồi dala thì gặp lỗi này là sao mọi người
    Error

    — Current Database: `data`

    CREATE DATABASE /*!32312 IF NOT EXISTS*/ `data` /*!40100 DEFAULT CHARACTER SET utf8 */

    MySQL said:
    #1044 – Access denied for user ‘abc’@’localhost’ to database ‘data’

    mình backup bằng hocvps thì không bị lỗi này.

  5. Nguyễn Hùng 6 comment

    Bác Luân cho e hỏi chút nhé.
    VPS của e đang cài backup lên Google Drive giờ e có tài khoản OneDrive với dung lượng lớn hơn e muốn cài thêm backup lên OneDriver có được không. Để cả 2 cái cùng chạy song song nó có chạy ko bác. Thanks

    1. Việt Phương Moderator

      Được bạn nhé. Bạn để 2 script. 1 cái chạy 1h 1 cái chạy 2h chẳng hạn

  6. Duy 2 comment

    Hiện tại Google drive lỗi gì thì phải. Mình add OneDrive thử thì lại được. Các bạn có bị thế không ạ ?

      1. Duy 2 comment

        Cảm ơn bạn, nó lại được rồi. Do cái chỗ đặt tên là remote thì phải sửa lại hết ở file script.

        1. Việt Phương Moderator

          Uhm. Mình có note mà. Kết nối Rclone với Cloud tên remote.. Nếu bạn dùng tên khác thì sửa trong script backup

  7. Mạnh Cường 3 comment

    – Các thư mục public_html của các website trong subdomain không tự động backup bạn ơi.

    – Mình muốn auto zip thêm 1 thư mục khoảng 30gb và auto upload lên google driver mình đã mua 1Tb thì phải thêm code nào vào ạ.

    1. Việt Phương Moderator

      1. Cấu trúc thư mục của subdomain như thế nào? Chứ nếu subdomain tương đương như 1 website thì script sẽ auto backup thôi.
      Ví dụ đều là /home/abc/public_html với /home/sub1.abc/public_html và /home/sub2.abc/public_html
      2. Bạn không cần upload thường xuyên thư mục đó thì zip và up thủ công không thì bạn sửa script bỏ hết phần database và nginx đi, để phần nén thư mục thôi. Nén thư mục thì điền thẳng luôn tên thư mục. Up lên đâu thì tùy cài đặt remote của bạn

      1. Mạnh Cường 3 comment

        – Cấu trúc web ở subdomain giống hệt domain nhưng vẫn không backup được. Chỉ backup được web ở domain thôi.

        – Mình tạo mới 1 file backup_2.sh rồi chèn code để nén folder 30Gb:
        TIMESTAMP=$(date +”%F”)
        BACKUP_DIR=”/home/cuong123/backup/$TIMESTAMP”
        MYSQL=/usr/bin/mysql
        MYSQLDUMP=/usr/bin/mysqldump
        SECONDS=0

        echo “Starting Backup Website”;
        zip -r $BACKUP_DIR/$data.zip /home/cuong123/domains/folder_can_nen -q
        done
        echo “Finished”;
        echo ”;

        echo “Starting Uploading Backup”;
        /usr/sbin/rclone $BACKUP_DIR/$TIMESTAMP “remotegoogledrive:$SERVER_NAME/$TIMESTAMP” >> /var/log/rclone.log 2>&1
        # Clean up
        rm -rf $BACKUP_DIR
        /usr/sbin/rclone -q –min-age 2w delete “remotegoogledrive:$SERVER_NAME/$TIMESTAMP”
        /usr/sbin/rclone -q –min-age 2w rmdirs “remotegoogledrive:$SERVER_NAME/$TIMESTAMP”
        echo “Finished”;
        echo ”;

        Nhưng bị lỗi:
        zip I/O error: No such file or directory
        zip error: Could not create output file (/home/cuong123/backup/2017-11-07/.zip)
        /root/backup_moodledata.sh: line 11: syntax error near unexpected token `done’
        /root/backup_moodledata.sh: line 11: `done’

        1. Việt Phương Moderator

          1. Mình không đề cập cấu trúc web, vì bash script này backup theo thư mục thôi, k quan tâm mã nguồn gì cả. Cứ có thư mục /home/domain/public_html là nó zip. Mình test rồi, hoàn toàn ok nên bạn xem lại script và cấu trúc thư mục nhé
          2.
          a. Chưa khai báo mà đột ngột có biến $data
          b. Xem lại phần Starting Uploading Backup
          3. Nếu có mỗi 1 thư mục thế thì bạn không cần bash script làm gì, add thẳng rclone. Cũng chỉ 2 dòng lệnh. Dùng bashscript chẳng qua vì nhiều lệnh và có cả thư mục. Bạn nén ntn thì đâu cần vứt nó vào thư mục làm gì nữa
          a. Zip file lại theo tên lựa chọn kèm biến ngày tháng
          b. Up cái file đó lên ggdrive bằng rclone
          Ví dụ zip -r abc.zip /home/abc -q && /usr/sbin/rclone move abc.zip "remote://Backup"

          1. Mạnh Cường 3 comment

            Mình không biết về lập trình nên chỉ lấy đoạn code của bạn rồi chỉnh sửa thêm.

            Riêng chỗ biến ngày tháng thì mình không biết khai báo như thế nào.
            Vào SSH chạy /root/backup.sh thì chỉ được lần đầu tiên, lần thứ 2 trở đi toàn bị báo lỗi No such file or directory.

            Chắc là tại cái biến $date không đúng nên nó không tạo được tên thư mục theo ngày tháng vì vậy bị trùng lặp.

            Bạn chỉ giúp mình cách khai báo biến $date với.

            Cảm ơn bạn nhiều.

          2. Việt Phương Moderator

            date có sẵn trong hệ thống rồi nên không phải khai báo gì cả. Đuôi thời gian tùy biến theo date TIMESTAMP=$(date +"%F") rồi.
            Còn ở đây bạn nén 1 thư mục cố định rồi thì bạn điền luôn tên thôi, không phải biến $data làm gì cả
            zip -r $BACKUP_DIR/abc.zip /home/cuong123/domains/folder_can_nen -q

  8. Vũ Văn Tiền 12 comment

    Chào Admin!
    Trước tiên xin cám ơn bài viết này của Admin.
    Mình có câu hỏi là:
    Trong file backup.sh mình muốn lưu trữ mã nguồn cả trên VPS và trên Google Driver thì sao ạ.

    Hiện tại trong backup.sh chỉ upload nên Google Driver lưu trong 14 ngày và xóa bản cũ đi. Mình cũng muốn nó làm tương tự như vậy lưu trong VPS thì cần sửa đoạn mã nào ạ. Mong Admin hồi âm sớm.

    1. Việt Phương Moderator

      Bạn thay vì move thì chọn copy. Đồng thời sau khi copy lên Drive thì move nó sang 1 thư mục khác (để đảm bảo thư mục backup trống cho lần backup sau)

  9. Thao Hoang 12 comment

    Mình cài xong thì hệ thống báo ntn là sao admin ơi
    [root@vultr ~]# rclone lsd remote:
    2017/11/15 16:38:32 Failed to create file system for “remote:”: didn’t find section in config file

    1. Thao Hoang 12 comment

      Mình mới xóa đi cài lại đến bước này

      Vậy là xong, giờ bạn có thể test thử kết nối với lệnh: rclone lsd remote:

      thì kết quả ntn

      [root@vultr ~]# rclone lsd remote:
      [root@vultr ~]#

      nó không hiện giống như hướng dẫn 🙁

      1. Việt Phương Moderator

        Câu hỏi 1: Chưa có kết nối nào tên là remote
        Câu hỏi 2: Hình như Cloud ý bên trong không có thư mục nào để hiển thị?

          1. Việt Phương Moderator

            Như lần cài 2 là bạn thành công rồi mà. Chỉ là bây giờ rclone nó thay đổi chỉ hiển thị thư mục. Nên mình mới bảo bạn check trên cloud ý có thư mục gì không
            Không có gì thì rclone không hiện gì là đúng rồi
            Bạn chạy được lệnh rclone --version là cũng thành công rồi

          2. Thảo H 12 comment

            cảm ơn admin nhiều. MÌnh làm được rồi. Admin ơi có cách nào restore nhanh không
            hay phải tải file backup về máy rồi up lên server

          3. Việt Phương Moderator

            Chỉ có cách đó thôi bạn à. Còn backup restore nhanh thì bạn dùng Duplicator nhưng khi đó bạn không có lựa chọn backup hàng ngày hay là tải lên Drive

  10. Vũ Văn Tiền 12 comment

    Chào Admin. Cám ơn đoạn mã của bạn hoạt động rất tốt. Mình có một câu hỏi mong bạn hồi âm.

    Mình bây giờ muốn lưu cả trên VPS ở đó luôn sẽ không xóa. Ví dụ lưu 5 bản khi lưu bản thứ 6 thì xóa bản thứ 1 đi (Mỗi ngày backup một lần). Thì phải làm như nào ạ. Vẫn backup nên Google Drive bình thường.
    Rất mong Admin hồi âm. Và xin hậu tạ!

    1. Việt Phương Moderator

      Để lưu trên VPS thì
      1. thay vì dùng move lên Drive thì bạn dùng copy
      2. sau khi copy lên drive thì move vào 1 thư mục X trên VPS
      3. Chạy lệnh xóa trong thư mục X những thư mục lớn hơn 6 ngày find /some/dir -type f -mtime +6 -delete

      1. Vũ Văn Tiền 12 comment

        Chào Admin. Cám ơn Anh đã phản hồi.
        Em thực hiện lệnh như này có khác gì của a không nhỉ?

        mv /root/backup /root/backupdata
        find /root/backupdata/ -mindepth 1 -mtime +2 -delete
        Em di chuyển thư mục backup sang thư mục backupdata, Và sử dụng lệnh xóa +2 sau 2 ngày có khác gì lệnh a ghi là find /some/dir -type f -mtime +6 -delete không anh???

        Và e muốn trên google driver mỗi ngày up nên sẽ xóa bản cũ luôn lên dùng lệnh này không biết đúng không?

        /usr/sbin/rclone -q –min-age 1d delete “remote:$SERVER_NAME”
        /usr/sbin/rclone -q –min-age 1d rmdirs “remote:$SERVER_NAME”

        Mong anh hồi âm! Cám ơn anh

        1. Việt Phương Moderator

          Cần move cái bên trong backup chứ không phải cả backup. Ngoài ra đã khá ổn rồi. Bạn test là rõ

          1. Việt Phương Moderator

            Bạn tận dụng script ý mv $BACKUP_DIR. Và đã tạo thư mục /root/bakcupdata chưa

          2. Việt Phương Moderator

            Nếu bạn đã move lên drive thì không còn gì để move vào backupdata. Thế nên lúc đầu mình mới bảo là copy lên drive

          3. Vũ Văn Tiền 12 comment

            Vâng em sử dụng lệnh copy mà a. Đây là toàn bộ mã nguồn e sửa đổi

            # HocVPS Script Plugin – Backup Server and Upload to Cloud

            #!/bin/bash

            SERVER_NAME=VUTIENIT_BACKUP_VPS

            TIMESTAMP=$(date +”%F”)
            BACKUP_DIR=”/root/backup/$TIMESTAMP”
            MYSQL_USER=”root”
            MYSQL=/usr/bin/mysql
            MYSQL_PASSWORD=vutienit95
            MYSQLDUMP=/usr/bin/mysqldump
            SECONDS=0

            mkdir -p “$BACKUP_DIR/mysql”

            echo “1. Bat Dau Sao Luu Database”;
            databases=`$MYSQL -e “SHOW DATABASES;” | grep -Ev “(Database|information_schema|performance_schema|mysql)”`

            for db in $databases; do
            if [ $db != “performance_schema” ]&&[ $db != “mysql” ];then
            echo -e “Backing up: ‘$db’ to $BACKUP_DIR/mysql/$db.sql n”
            $MYSQLDUMP –force –opt –user=$MYSQL_USER -p$MYSQL_PASSWORD –databases $db > “$BACKUP_DIR/mysql/$db.sql”
            fi
            done
            echo “— Hoan Thanh —“;
            echo ”;

            echo “2. Bat Dau Sao Luu Website”;
            # Loop through /home directory
            for D in /home/*; do
            if [ -d “${D}” ]; then #If a directory
            domain=${D##*/} # Domain name
            echo “- “$domain;
            zip -r $BACKUP_DIR/$domain.zip /home/$domain/public_html/ -q -x /home/$domain/public_html/wp-content/cache/**\* #Exclude cache
            fi
            done
            echo “— Hoan Thanh —“;
            echo ”;

            echo “3. Bat Dau Sao Luu Nginx Configuration”;
            cp -r /etc/nginx/conf.d/ $BACKUP_DIR/nginx/
            echo “— Hoan Thanh —“;
            echo ”;

            size=$(du -sh $BACKUP_DIR | awk ‘{ print $1}’)

            echo “4. Bat Dau Sao Luu Nen Google Drive”;
            /usr/sbin/rclone copy $BACKUP_DIR “remote:$SERVER_NAME/$TIMESTAMP” >> /var/log/rclone.log 2>&1
            # Clean up
            /usr/sbin/rclone -q –min-age 1d delete “remote:$SERVER_NAME” #Remove all backups older than 2 week
            /usr/sbin/rclone -q –min-age 1d rmdirs “remote:$SERVER_NAME” #Remove all empty folders older than 2 week
            echo “— Hoan Thanh —“;
            echo ”;

            echo “5. Bat Dau Sao Luu Tai VPS”;
            #Remove older backups (2 days)
            mv /root/backup /root/backupdata
            find /root/backupdata/ -mindepth 1 -mtime +2 -delete

            echo “— Hoan Thanh —“;
            echo ”;

            duration=$SECONDS
            echo “Tong dung luong sao luu $size”
            echo “Thoi gian sao luu $(($duration / 60)) phut va $(($duration % 60)) giay.”

  11. Vũ Văn Tiền 12 comment

    Hiện tại trên Google Drive e chỉ muốn mỗi ngày lưu một bản thôi. Ngày hôm sau xóa luôn bản cũ. Em sử dụng lệnh này thì không chịu, Có cách nào khả thi hơn khác không ạ?
    /usr/sbin/rclone -q –min-age 1d delete “remote:$SERVER_NAME”
    /usr/sbin/rclone -q –min-age 1d rmdirs “remote:$SERVER_NAME”

    1. Việt Phương Moderator

      1. Hệ thống Rclone nó thế. Bạn xóa thủ công các bản backup có từ trước khi sửa script. Các bản backup được tạo từ sau sẽ được xóa theo 1 ngày.
      2. Hoặc bạn không muốn lưu thế thì để lệnh xóa trên drive trước rồi lệnh up sau. Khi đó thì không cần xét thời gian làm gì vì nó sẽ tự độgn xóa all trên Drive rồi mới up lên

        1. Vũ Văn Tiền 12 comment

          Nếu xóa luôn trước khi update thì sẽ viết như này đúng không ạ?

          /usr/sbin/rclone delete “remote:$SERVER_NAME”
          /usr/sbin/rclone rmdirs “remote:$SERVER_NAME”

          Rồi mới upl nên

          /usr/sbin/rclone copy $BACKUP_DIR “remote:$SERVER_NAME/$TIMESTAMP” >> /var/log/rclone.log 2>&1

    1. Việt Phương Moderator

      1. Bạn chỉnh lại cronjob theo nhu cầu nhé.
      2. Chỉnh trong script để thay đổi việc xóa file (hiện cũ hơn 2 tuần xóa)

  12. Ngô Văn Cương 52 comment

    Sau khi mình up code của wordpress đã sao lưu lên host, Import data, update nginx, chỉnh config thì vào web nó bắt lại wordpress là sao ad nhỉ ?