利用Docker VNC在无图形服务器上跑图形桌面

利用Docker VNC在无图形服务器上跑图形桌面

现在很多服务器都是不提供用户图形界面的，但是科研人员有时候需要在服务器上运行图形界面，比如使用图形化的Matlab 处理数据等。虽然这时候可以选择安装一个 gnome 或者 xfce4 等桌面环境，但是通常服务器上是有很多用户的，这样会可能会占用一定的资源或者把环境搞乱掉，影响其他用户使用。

比较好的方案是起一个带 VNC 的 Docker 容器，省事还干净，不会影响到其他人。

以下以在一个装有 Docker 的无图形界面服务器上安装运行 Matlab 为例，为大家讲解具体的操作。

假设服务器 IP 是 192.168.101.32

  1. 开启 带 VNC 环境的docker容器，将 matlab 所在路径(假设安装到了本机的/share/matlab)映射到容器内的某个路径，把 5901 端口映射到本地服务器的 15901(也可以写成别的)。
1
docker run -d -v /share/matlab:/matlab -p 15901:5901 accetto/ubuntu-vnc-xfce-chromium-g3

  1. VNC 客户端访问192.168.101.32:15901即可访问桌面

  2. 访问桌面后，在VNC 连上的桌面上打开一个终端，然后在该终端中输入如下命令

1
2
3
4
5
6
7
# 将APT源换成清华镜像源
sudo sed -i 's/archive.ubuntu.com/mirrors.tuna.tsinghua.edu.cn/g' /etc/apt/sources.list
# 安装打开图形的必要依赖：JRE
sudo apt update
sudo apt install default-jre
# 执行 matlab
/matlab/R2021a/bin/matlab

展开全文 >>

缅怀袁隆平院士

今天的心情很复杂，通宵写完代码后看到的第一个消息就是这个，真希望真的是谣言。袁隆平爷爷是我们90 后从小就在课本上看到人物，是我小时候最敬佩的科学家之一。如今我自己也在科研的学习道路上苦苦挣扎，更是深知袁隆平院士的不易和伟大。

时光不会给任何人留情面，吾辈应该好好珍惜宝贵的时光，美好的时代；应该追随前辈的身影，从事科学研究直到自己生命最后一刻，就像袁爷爷一样。天堂也许也有一片水稻田吧，愿稻香常伴您。

展开全文 >>

一起来学 Einsum，Einops

一起来学 Einsum，Einops

Einsum

啥？做啥的？学这玩意儿干啥？

numpy, pytorch, tensorflow中有个函数叫做einsum, 它的来源是Einstein notation, 中文译作爱因斯坦求和约定，这约定是由阿尔伯特·爱因斯坦于1916年提出的。

采用爱因斯坦求和约定，可以使数学表达式显得简洁明快。而将这种简洁记法运用到矩阵运算代码中会带来什么好处呢？

我们来看numpy官方关于einsum的文档是怎么说的，让我们来 抄 引用一下

Using the Einstein summation convention, many common multi-dimensional, linear algebraic array operations can be represented in a simple fashion. In implicit mode einsum computes these values.

许多常见的多维度操作都可以被einsum这一个函数表示，那么有哪些常见操作呢？抄之 引用之

A non-exhaustive list of these operations, which can be computed by einsum, is shown below along with examples:

”奥这样啊，看起来还行“，看你若有所思的样子我就知道你在想什么。

你可能会说这不就是一种语法糖么？相当于原来我用代码抄公式要花5行代码，现在就一行了，但是so what? 只是个小trick罢了。

的确如果只是处理较低的维度矩阵的话，似乎是这样。

但当我们涉及到需要频繁处理复杂的高维度矩阵操作的时候，这个方法的简洁高效性就体现出来了。

让我们来一些复杂点的例子。

首先让我们来看看对一个7维矩阵中的部分维度进行转置的例子

假设我们有一个矩阵$A$，它的形状为$1\times3\times4\times2\times3\times64\times64$，现在希望互换部分维度，转化为$1\times3\times4\times64\times64\times2\times3$，我们来看看两种方法分别做起来是什么样子的:

1
2
3
4
5
6
import numpy as np
a = np.random.randn(1,3,4,2,3,64,64)
legacy_result = a.transpose(0,1,2,5,6,3,4)	# 通常方法
einsum_result = np.einsum("bcijkwh->bciwhjk", a)	# Einsum
print((legacy_result==einsum_result).all())	 # 查看是否等价
#----输出True

从上面这个例子中，我们可以看出利用einsum的任意标签特性，我们可以给各个维度赋予一个有含义的标签（比如b代表batch，c代表channel等等）。如此便比比直接使用index操作更加直观可读，不容易出错。

但这也不过如此，einsum的强大之处不只体现在这里。

我们再来看一个例子。

如何用写一个维度为$1\times3\times4\times2\times3\times64\times64$和$1\times3\times4\times(2\times3)^T\times64\times64$的倒数第4，3个维度的矩阵积并得到$1\times3\times4\times2\times2\times64\times64$的结果?

1
2
3
4
5
6
7
8
9
10
11
12
13
14
a = np.random.randn(1,3,4,2,3,64,64)
b = np.random.randn(1,3,4,2,3,64,64)
# 传统做法, 先把要乘的转置到最后，完成运算后再转置回来
a1=a.transpose(0,1,2,5,6,3,4) 		# Shape(1, 3, 4, 64, 64, 2, 3)
b1=b.transpose(0,1,2,5,6,4,3)  # Shape(1, 3, 4, 64, 64, 3, 2)
legacy_result = np.matmul(a1,b1) # Shape(1, 3, 4, 64, 64, 2, 2)
legacy_result = legacy_result.transpose(0,1,2,5,6,3,4)  # Shape(1, 3, 4, 2, 2, 64, 64)

# 很麻烦对不对？那如果用einsum来做呢？
einsum_result = np.einsum('...ijhw,...kjhw->...ikhw', a,b) # Shape(1, 3, 4, 2, 2, 64, 64)

print((legacy_result==einsum_result).all())		# 我们来验证一下结果是否一致
# --------输出--------
# True

非常amazing是不是？显然einsum在这个例子上体现出了绝对的优越性。

不升华一下似乎很难收场(´ο｀*)))~

其实有时候同样的事情换个角度看就会有很大的不同。你可以说这只是一种新的记法，记法嘛，无外乎只是写起来麻烦些和简单些的区别，但是你往往会发现不同的记法往往不仅仅是节省墨水，更可以为你提供更简洁的思维封装单元，同时还能腾出更多的思维时间。

就像集成电路里的芯片，14纳米和5纳米的芯片虽然整体实现的功能完全一样，尺寸听起来似乎也不是差得很多，但它在相同资源空间内带来的不同堆集效应是无法忽视的。

回到我们探讨的问题上，你往往会发现，随着矩阵维度的增高，你的精力会逐渐被思考这个地方该如何转置，那个维度该怎么堆叠这些无关宏观目标的具体细节所分散。

(好吧，听起来丝毫没有说服力~)

在此我只是试图浅薄地理解由Numpy最早引入的einsum函数在具体工程问题上的一些好处，更深层次的东西我就没有能力再去探讨了。

不过说实在的，我目前也只是直觉上觉得学这个东西具有巨大的作用。实质上我也是刚开始学而已，暂时也说不出什么太实质性的感悟。只是我在读vit-pytorch 代码的时候，发现它对Transformer的核心实现大量的采用了einsum以及受它启发的einops，感觉非常简洁明快，并且在你理解它的意思后，会发现这种符号记法远远比np.inner(a,b)又或是transpose(2,1,3,2)来得直观地多。

正是它给我带来的这种直观印象促使了我决定放下手头的工作，好好地把它学一下，我相信它会给我以后的工作和思考带来持续的好处，从这个角度看，我这么做是很值得的。百忙中走一步闲棋，后效如何，还待他日探讨。

（当然我才不会承认还有一部分原因是因为这个方法冠有爱因斯坦的鼎鼎大名，实为炫技装逼之利器也~）

Reference

[1] Numpy 文档

[2] Einstein notation, Wikipedia

[3] 爱因斯坦求和约定，百度词条

Einops

这又是啥？(⊙o⊙)学不动了，告辞。

哎别走嘛，来来，我们来看个小视频。（骗你的，其实是个动图）

官方文档盗过来的一张动图

不得不说作者还是蛮会的，这个动图简洁明了，相信你看完之后一定会很直观地get到这个项目能实现什么效果：厉害吧？你要不要学？

接着放几个大佬的Tweets评价来背书：快来用呀，大佬们都说好哦~

还支持Numpy，Pytorch，TensorFlow，Jax等诸多框架，哇，满满的都是高级感呀，2.5K个Star一点也不奇怪。

不知道你有没有心动了，反正我是心动了，感觉学完就能和爱因斯坦以及硅谷大佬肩并肩，走上人生巅峰啊~ ^▽^

（醒醒，你只是为了读懂别人的代码）

那就一起来看看吧~。
（原来哄自己学习也这么辛苦的么）

额，突然不想写了，先酱紫吧，回头再更，拜~(害，还是没哄成)

Reference

[1]https://github.com/arogozhnikov/einops#supported-frameworks

展开全文 >>

MacOS Acrobat Pro DC 屏蔽更新

安装与去付费

磁力链：

1
magnet:?xt=urn:btih:AD362136562FC716C6CACACF926CEA55EF5E25B2&dn=Adobe_Acrobat_DC_v20.006.20042__TNT_Torrentmac.net.dmg

屏蔽更新

Reference:https://www.reddit.com/r/AdobeZii/comments/fkzqol/solved_how_to_disable_adobe_acrobat_reader_dc/

I found that this solution helps:

Right-click Adobe Acrobat.app, go to “Contents” -> “Plugins” and delete Updater.acroplugin.

运行以下命令即可：

rm -rf /Applications/Adobe Acrobat DC/Adobe Acrobat.app/Contents/Plugins/Updater.acroplugin

展开全文 >>

CentOS7 部署VMESS+TCP+TLS

起因

由于忍不住剁手新入一台韩国Kdatacenter的VPS，从南京联通出去的链路还是不错的，如图所示。
image.png

于是乎，需要给它重新配置一些东西。默认给的操作系统是CentOS6，我发工单改成了CentOS7。它家工单系统蛮有意思的，我半夜三点钟发居然十分钟后就回复了，看来是有其他时区的客服。

最近发现官方社区出了TCP+TLS的指南，不再是以前的Websocket+TLS，而是参照Trojan的TCP+TLS的思路，用Haproxy作为443前端根据流量特征进行中转，具体来说就是，如果接入流量真的是http流量的话，那么就送到nginx后端，如果是其他流量的话，那么就把它送到v2ray的VMESS端口里。以前的方式是固定web path里的统统用websocket反向代理到VMESS端口。现在这种TCP+TLS的方式根据测试延迟会比以前低一些。

我个人第一想法是感觉额外添加一个Haproxy出来不够美观，最近时间紧，我就不要去探索了，2333~~ 之前没看仔细，已经有人搭了只靠nginx转发的了。

以下所有操作默认都在root用户中执行

步骤

1.域名解析

我的域名是在Cloudflare上解析的，登录Cloudflare，之后创建A记录到我服务器的IP即可。

2.安装nginx

最省事的方法是直接用APT或者YUM装

1
2
3
4
yum update
yum install -y epel-release
yum install -y vim
yum install -y nginx

修改配置vim /etc/nginx/nginx.conf，找到server_name这一项，将localhost改为自己的域名

1
2
3
4
5
server
{
    listen 80;
    server_name example.com;	#记得改成你自己的域名
    .....

3.申请证书

要用正常的TLS得有签名的证书才行，这里我们采用certbot来实现 lets encrypt证书的申请和自动续期

3.1 下载certbot

1
yum install certbot python2-certbot-nginx

3.2 选择Certbot的运行方式

由于我们不需要nginx直接监听443，因此这里建议仅生成证书

1
certbot certonly --nginx

成功之后证书存在

1
2
ssl_certificate /etc/letsencrypt/live/your_domain/fullchain.pem; # managed by Certbot
ssl_certificate_key /etc/letsencrypt/live/your_domain/privkey.pem; # managed by Certbot

3.3 设定自动续期

1
echo "0 0,12 * * * root python -c 'import random; import time; time.sleep(random.random() * 3600)' && certbot renew -q" | sudo tee -a /etc/crontab > /dev/null

4.配置Haproxy

4.1 编译openssl 1.1.1

我们需要openssl1.1.1要支持TLS 1.3

安装依赖

1
yum groupinstall 'Development Tools'

下载源码

1
2
wget https://www.openssl.org/source/openssl-1.1.1g.tar.gz
tar -xzf openssl-1.1.1g.tar.gz

编译

1
2
3
4
5
6
7
cd openssl-OpenSSL_1_1_1g/
# 通常可以直接使用config (from Ubuntu 13.04, x64, 本文在CentOS7.3测试通过):
./config --prefix=/opt/openssl-1.1.1 shared
#编译
make
#安装
make install

4.2 编译haproxy

源码下载

1
2
3
4
yum install -y make gcc perl pcre-devel zlib-devel pcre2 pcre2-devel
wget http://www.haproxy.org/download/1.9/src/haproxy-1.9.15.tar.gz
tar -zxvf haproxy-1.9.15.tar.gz
cd haproxy-1.9.15/

编译

1
2
3
4
make TARGET=linux2628 CPU=native USE_PCRE2=1 USE_PCRE2_JIT=1 USE_OPENSSL=1 SSL_LIB=/opt/openssl-1.1.1/lib SSL_INC=/opt/openssl-1.1.1/include USE_ZLIB=1
make install
# Check your sbin path at /usr/local/sbin
cp haproxy /usr/local/sbin/haproxy

创建配置文件

1
2
mkdir /etc/haproxy/
vim /etc/haproxy/haproxy.cfg

代码内容如下

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
global
    log /dev/log local0
    log /dev/log local1 notice
    #chroot /var/lib/haproxy
    stats socket /run/haproxy/admin.sock mode 660 level admin expose-fd listeners
    stats timeout 30s
    #user haproxy
    #group haproxy
    daemon
    ca-base /etc/ssl/certs
    crt-base /etc/ssl/private

    # 仅使用支持 FS 和 AEAD 的加密套件
    ssl-default-bind-ciphers ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384
    ssl-default-bind-ciphersuites TLS_AES_128_GCM_SHA256:TLS_AES_256_GCM_SHA384:TLS_CHACHA20_POLY1305_SHA256
    # 禁用 TLS 1.2 之前的 TLS
    ssl-default-bind-options no-sslv3 no-tlsv10 no-tlsv11

    tune.ssl.default-dh-param 2048

defaults
    log global
    # 我们需要使用 tcp 模式
    mode tcp
    option dontlognull
    timeout connect 5s
    # 空闲连接等待时间，这里使用与 V2Ray 默认 connIdle 一致的 300s
    timeout client  300s
    timeout server  300s
frontend tls-in
    # 监听 443 tls，tfo 根据自身情况决定是否开启，证书放置于 /etc/ssl/private/example.com.pem
    bind *:443 tfo ssl crt /etc/ssl/private/example.com.pem
    tcp-request inspect-delay 5s
    tcp-request content accept if HTTP
    # 将 HTTP 流量发给 web 后端
    use_backend web if HTTP
    # 将其他流量发给 vmess 后端
    default_backend vmess

backend web
    server server1 127.0.0.1:8080
  
backend vmess
    server server1 127.0.0.1:40001

HaProxy 的证书和密钥放于同一个文件，与 Caddy 和 Nginx 不同，可以使用命令 cat example.com.crt example.com.key > example.com.pem 合成证书

修改haproxy系统服务启动脚本：

vim /etc/systemd/system/haproxy.service

1
2
3
# 确保在[Service]这一栏有这样的一项
[Service]
Environment=LD_LIBRARY_PATH=/opt/openssl-1.1.1/lib/

测试，首先测试配置是否正确，如果发现错误就根据错误改正

1
haproxy -db -f /etc/haproxy/haproxy.cfg

运行

1
/etc/init.d/haproxy start

如果没有任何提示，说明haproxy配置无误，Ctrl+C退出测试。

启动服务

1
2
3
systemctl start haproxy
#开机自启
systemctl enable haproxy

此时输入netstat -npl |grep 443可以看到haproxy已经开始监听443端口

1
2
tcp        0      0 0.0.0.0:443             0.0.0.0:*               LISTEN      23824/haproxy
unix  2      [ ACC ]     STREAM     LISTENING     290695   23824/haproxy        /run/haproxy/admin.sock.23823.tmp

Haproxy常见错误排查

如果提示

1
[ALERT] 168/131339 (22782) : Starting frontend GLOBAL: cannot bind UNIX socket [/run/haproxy/admin.sock]

首先检查443端口是否被占用，先把apache，nginx, caddy关掉，之后的章节会提到，我们会将它的监听端口改为其他端口，用haproxy作实际443监听端口。

使用netstat -npl |grep 443检查是否有进程占用443端口。

如果确认没有，但仍然报错，则需要手动创建/run/haproxy/这个目录：

Haproxy needs to write to /run/haproxy/admin.sock but it wont create the directory for you. Create the directory /run/haproxy/ first or set stats socket to a different path.

1
mkdir /run/haproxy/
请注意:

1.务必先编译openssl 1.1.1再编译haproxy，可以通过haproxy -vv |grep OpenSSL查看当前编译时候openssl的版本，如果版本号不对，请指定正确版本的openssl路径后重新编译

1
2
3
4
5
6
7
haproxy -vv |grep OpenSSL
----
Built with OpenSSL version : OpenSSL 1.1.1g  21 Apr 2020
Running on OpenSSL version : OpenSSL 1.1.1g  21 Apr 2020
OpenSSL library supports TLS extensions : yes
OpenSSL library supports SNI : yes
OpenSSL library supports : TLSv1.0 TLSv1.1 TLSv1.2 TLSv1.3

配置v2ray服务端

安装

1
bash <(curl -L -s https://install.direct/go.sh)

配置
vim /etc/v2ray/config.json

内容如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
{
    "inbounds": [
        {
            "protocol": "vmess",
            "listen": "127.0.0.1",
            "port": 40001,	# 可以随便写个端口，只要注意一致就行
            "settings": {
                "clients": [
                    {
                        "id": "f2435e5c-9ad9-4367-836a-8341117d0a5f"(请自己生成一个)
                    }
                ]
            },
            "streamSettings": {
                "network": "tcp"
            }
        }
    ],
    "outbounds": [
        {
            "protocol": "freedom"
        }
    ]
}

启动服务

1
2
3
systemctl start v2ray
#开机自启
systemctl enable v2ray

修改nginx服务端配置

vim /etc/nginx/nginx.conf

在 http{} 里面添加，这样我们只用nginx监听普通8080端口即可，因为haproxy那边本地转发前已经解包成了明文了。

1
2
3
4
5
server {
  listen 8080;
  server_name example.com;		#记得改成你自己的域名
  root /var/www/html;
}

重启服务端

1
2
3
systemctl restart nginx
# 开机自启
systemctl enable nginx

其他

到目前为止，所有的服务就已经搭建完毕了，在浏览器里输入 https:// + 你的域名， 如果能够正常访问，说明haproxy和nginx的链路已经通了，基本上就代表可以用了。VMESS的路一般不会出什么问题，这时候就可以用客户端试一下了。

客户端的配置以及一些延迟测试就不多介绍了，参考官方社区吧。

使用体验

油管1080P随便拽，4k流畅秒开，可以看奈飞

油管4k

image.png
Netflix
image.png

下一步计划

1.整个一套配置下来还是很繁琐的。我打算之后写一套docker-compose，以方便复用。

2.这个机器有100G硬盘呢，反正暂时又不建站，不如下一步在上面建个图床玩玩

参考

1.CentOS 7 源码编译安装 Nginx

2.TCP + TLS + Web

3.HAproxy指南之haproxy编译安装

4.wiki_openssl

5.Building HAProxy so that it can use TLSv1.3

6.Nginx on CentOS/RHEL 7

7.HAProxy doesn’t start, can not bind UNIX socket

展开全文 >>

Kdatacenter迁移记录

前言

由于最近套路云翻车，Linode总是不稳定，所以我打算把个人的另一个站点以及某类工具性服务迁移到一个更加稳定的地方去。思来想去，还是得在亚洲机房找。

之前看网上有不少博客推荐Kdatacenter，说是最稳定最快速的韩国VPS，速度就像是在国内访问一样，所以就想去试试。

并且听说这家提供商可以给新用户20%的优惠，不过需要用户发推广：

You can get some promotion codes according to quantity of links as below:

*10% promotion code: 1ealink x Blog/BBS/Forum etc.

*Additional 10% promotion code: 2ea links x SNS

You can get 20% promotion code with 3 links:

  • Your post in forum or BBS can be considered as an article in SNS.
  • A promotion coupon is avaliable only one time. These coupons are used for recurring charge.

展开全文 >>

淘宝买的mini IPC摄像头分析

一个超级mini的摄像头，带夜视、H.264编码、低功耗声称可以续航三天

image-20190923001151881.jpg
image-20190923001203049.jpg

拆开看是这样

image-20190923001216989.jpg
image-20190923001224351.jpg

用的这个芯片很有意思

北京君正芯片

img

大概抓包分析了一下，貌似是直接把TLS加密的内容用Raw UDP传送。

首先我发现它提供APP上有一个推送新证书的功能，通过抓包成功地把证书和私钥给拿了下来。

image-20190923001727840.jpg

然后发现它UDP端口每次都会变，而且APP支持局域网搜索，所以我猜想肯定是有UDP广播，所以就抓广播包，果然抓到了关键信息。这个XML文件的信息量很大，表明了它是用onvif协议（表示在看到这个关键词的时候都不知道这啥啊，搜一下才知道原来是一个定好的标准协议，我之前还以为是作者自定义的协议。毕竟不了解IP摄像头行业，2333）

image-20190923002052357.jpg

另外，我还发现了这个板子的串口，哈哈哈，这意味着可以直接拿到shell了，回头焊个排针引出来然后把ssh 打开，真是捡到宝了，开心～

image-20190923002550162.jpg

总结

这个摄像头的设计很简单又紧凑，值得学习。这个小体积和续航非常符合我的要求，下一步的目标就是对它进行二次开发了～ 加个人脸识别啥的,真是太美好了～～

展开全文 >>

随笔4-191027

我年少时糊涂，痴痴傻傻。到如今，却越活越明白。一路上身边的人很多，留下来的却很少。有的朋友三言两句就觉得淡薄了，有的朋友十年阔别，再谈却还总觉得熟络。其实我哪经营得过来那么多感情，人生难得一知己。

我的朋友很少、但是我现在过得还不错，如果你乐意听到，那你就是我朋友，如果你十年后还有兴趣知道，那你就是我知己。

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

nothing is everthing