集成NPU的问题总结

2024-06-15

最近在研究基于NPU的推理方法，编写的demo已经测试通过，但集成到项目中却发现各种问题。

一、编译错误

1
2

/home/killf/data/AndroidSdk/ndk-bundle/toolchains/llvm/prebuilt/linux-x86_64/lib/gcc/aarch64-linux-android/4.9.x/../../../../aarch64-linux-android/bin/ld: warning: libz.so, needed by /home/sensing/face-api-deps/HIAI/HiAI_DDK_100.300.010.010/HiAI_DDK_100.200.010.011/DDK/ai_ddk_mixmodel_lib/lib64/libhiai.so, not found (try using -rpath or -rpath-link)
/home/killf/data/AndroidSdk/ndk-bundle/toolchains/llvm/prebuilt/linux-x86_64/lib/gcc/aarch64-linux-android/4.9.x/../../../../aarch64-linux-android/bin/ld: warning: libstdc++.so, needed by /home/sensing/face-api-deps/HIAI/HiAI_DDK_100.300.010.010/HiAI_DDK_100.200.010.011/DDK/ai_ddk_mixmodel_lib/lib64/libhiai.so, not found (try using -rpath or -rpath-link)

期初以为这个错误是因为在不到libz.so和libstdc++.so引起的，事实上只需要加上-rpath-link即可解决问题。

1	target_link_options(test_performance PRIVATE -Wl,-rpath-link=/home/killf/data/AndroidSdk/ndk-bundle/toolchains/llvm/prebuilt/linux-x86_64/sysroot/usr/lib/aarch64-linux-android/26/)

二、启动时段错误

一切都编译没问题，但启动的时候直接报Segmentation fault，连main函数中第一行代码都没有执行，所以这肯定是链接的问题，通过逐一排除的方法，发现问题出现在libhiai.so上面。

三、链接protobuf的问题

[libprotobuf ERROR /home/sensing/github/protobuf-3.6.1/src/google/protobuf/descriptor_database.cc:58] File already exists in database: google/protobuf/descriptor.proto[libprotobuf FATAL /home/sensing/github/protobuf-3.6.1/src/google/protobuf/descriptor.cc:1358] CHECK failed: GeneratedDatabase()->Add(encoded_file_descriptor, size): terminating with uncaught exception of type google::protobuf::FatalException: CHECK failed: GeneratedDatabase()->Add(encoded_file_descriptor, size):

这是因为libhiai.so中存在静态链接的protobuf，而我们的项目也是静态链接了protobuf，造成二次链接的问题。

NPU不支持：DepthwiseConvolution

更多内容 >>

cgit

2024-06-15

cgit是一个github快速下载器，使用国内镜像，clone速度可达10M/s。
项目地址：https://github.com/killf/cgit.git

一、安装方法

目前，已提供了Ubuntu和Mac的预编译程序，如果使用的是其他系统，可以采用源码编译安装。

linux下安装

1	sudo wget http://cgit.killf.info/cgit_linux_latest -O /usr/local/bin/cgit && sudo chmod 755 /usr/local/bin/cgit

mac下安装

1	sudo wget http://cgit.killf.info/cgit_mac_latest -O /usr/local/bin/cgit && sudo chmod 755 /usr/local/bin/cgit

编译安装

1	git clone https://github.com/killf/cgit.git && sudo ./cgit/install.sh

二、使用方法

cgit运行时与需要使用git，因此需要先安装git，如果需要使用其他路径的git，可配置环境变量GIT，如：

1	export GIT=/usr/bin/git

cgit的使用方法git与一样，事实上内部使用的也是git，使用时只需将命令替换成cgit即可，如下：

1	cgit clone https://github.com/killf/cgit.git

三、下载速度

更多内容 >>

LaTeX数学公式范例

2024-06-15

一、常见数学公式范例

行内公式

$E=mc^2$ => $E=mc^2$
$c=\pm\sqrt{a^2+b^2}$ => $c=\pm\sqrt{a^2+b^2}$
$x>y$ => $x>y$
$f(x)=x^2$ => $f(x)=x^2$
$\alpha=\sqrt{1-e^2}$ => $\alpha=\sqrt{1-e^2}$
$(\sqrt{3x-1}+(1+x)^2)$ => $(\sqrt{3x-1}+(1+x)^2)$
$\sin(\alpha)^\theta=\sum_{i=0}^n(x^i+\cos(f))$ => $\sin(\alpha)^\theta=\sum_{i=0}^n(x^i+\cos(f))$
$\dfrac{-b\pm\sqrt{b^2-4ac}}{2a}$ => $\dfrac{-b\pm\sqrt{b^2-4ac}}{2a}$
$f(x)=\int_{-\infty}^{\infty}f\hat(\xi)e^{2\pi i \xi x}\,d\xi$ => $f(x)=\int_{-\infty}^{\infty}f\hat(\xi)e^{2\pi i \xi x}\,d\xi$
$\frac{1}{(\sqrt{\phi\sqrt{5}}-\phi)e^{\frac{2}{5}\pi}} = 1+\frac{e^{-2\pi}}{1+\frac{e^{-4\pi}}{1+\frac{e^{-6\pi}}{1+\frac{e^{-8\pi}}{1+\cdots}}}}$ => $\frac{1}{(\sqrt{\phi\sqrt{5}}-\phi)e^{\frac{2}{5}\pi}} = 1+\frac{e^{-2\pi}}{1+\frac{e^{-4\pi}}{1+\frac{e^{-6\pi}}{1+\frac{e^{-8\pi}}{1+\cdots}}}}$
$\displaystyle\left(\sum_{k=1}^na_kb_k\right)^2\leq\left(\sum_{k=1}^{n}a_k^2\right)\left(\sum_{k=1}^{n}b_k^2\right)$ => $\displaystyle\left(\sum{k=1}^na_kb_k\right)^2\leq\left(\sum{k=1}^{n}ak^2\right)\left(\sum{k=1}^{n}b_k^2\right)$
$a^2$ => $a^2$
$a^{2+2}$ => $a^{2+2}$
$a_2$ => $a_2$
$x_2^3$ => $x_2^3$
${x_2}^3$ => ${x_2}^3$
$10^{10^{10}}$ => $10^{10^{10}}$
$a_{i,j}$ => $a_{i,j}$
$_nP_k$ => $_nP_k$
$c=\pm\sqrt{a^2+b^2}$ => $c=\pm\sqrt{a^2+b^2}$
$\frac{1}{2}=0.5$ => $\frac{1}{2}=0.5$
$\dfrac{k}{k-1}=0.5$ => $\dfrac{k}{k-1}=0.5$
$(_k^n) \dbinom{n}{k} \binom{n}{k}$ => $(_k^n) \dbinom{n}{k} \binom{n}{k}$
$\oint_Cx^3\,dx+4y^2\,dy$ => $\oint_Cx^3\,dx+4y^2\,dy$
$\bigcap_1^np\bigcup_1^kp$ => $\bigcap_1^np\bigcup_1^kp$
$e^{i\pi}+1=0$ => $e^{i\pi}+1=0$
$(\frac{1}{2})$ => $(\frac{1}{2})$
$x_{1,2}=\frac{-b\pm\sqrt{b^2-4ac}}{2a}$ => $x_{1,2}=\frac{-b\pm\sqrt{b^2-4ac}}{2a}$
$x^2+2x-1$ => $x^2+2x-1$
$\sum_{k=1}^{N}k^2$ => $\sum_{k=1}^{N}k^2$
$\frac{\frac{1}{2}[1-(\frac{1}{2})^n]}{1-\frac{1}{2}}=s_n$ => $\frac{\frac{1}{2}[1-(\frac{1}{2})^n]}{1-\frac{1}{2}}=s_n$
$\binom{n}{k}$ => $\binom{n}{k}$
$0+1+2+\cdots$ => $0+1+2+\cdots$
$\sum_{k=1}^{N}k^2$ => $\sum_{k=1}^{N}k^2$
$\textstyle \sum_{k=1}^{N}k^2$ => $\textstyle \sum_{k=1}^{N}k^2$
$\displaystyle \sum_{k=1}^{N}k^2$ => $\displaystyle \sum_{k=1}^{N}k^2$
$\prod_{i=1}^{N}x_i$ => $\prod_{i=1}^{N}x_i$
$\coprod_{i=1}^{N}x_i$ => $\coprod_{i=1}^{N}x_i$
$\int_{1}^{3}\frac{e^3/x}{x^2}\,dx$ => $\int_{1}^{3}\frac{e^3/x}{x^2}\,dx$
$\int_Cx^3\,dx+4y^2\,dy$ => $\int_Cx^3\,dx+4y^2\,dy$
${}_1^2\!\Omega_3^4$ => ${}_1^2!\Omega_3^4$
L_2=\sqrt{x\div2} => $L_2=\sqrt{x\div2}$
\% => $\%$
\infty => $\infty$

二、参考资料

GitHub:https://pandao.github.io/editor.md/examples/katex.html
公式手册:https://www.cnblogs.com/1024th/p/11623258.html

更多内容 >>

基于WebBrowser的自动化模拟点击框架

2024-06-15

一直想做一个面向Web的自动化测试工具，而最近工作中刚好遇到类似的问题，于是就先写了个支持库，用于自动化模拟点击，以备后用。

自动化模拟点有什么用？

自动化测试。目前，市面上流行的Web自动化测试工具都是基于WebDriver的，而基于WebBrowser的几乎没有。
编写一些游戏的挂机脚本之类的东西。
编写爬虫，自动抓取页面中的数据。
代替人工，完成一些简单而又乏味的重复工作。
嗯，纯粹为了技术。

more >>

更多内容 >>

轻量级的Sql库-SqlContext

2024-06-15

最近，项目中需要使用本地SQLite库，由于EF框架太重，而直接采用ADO.Net又太麻烦，所以就简单的封装了个Sql库，支持CURD、事务、(简单的)ORM、多数据库支持等，项目地址：https://github.com/killf/SqlContext

使用时需要先引用SQLite支持库，使用方法如下：

more >>

更多内容 >>

SqlContext参考手册

2024-06-15

前几天刚把放到Github上的开源程序发布到开源中国，没想到很快就有网站联系说希望收录这款软件，于是重新整理了下帮助文档，文档比较简单，以后有空再完善。

一、简介

SqlContext是一个轻量级的Sql帮助类，旨在提供一种快速、简洁、优雅地数据库访问方法。
相比于重量级的EntityFramework，SqlContext非常轻量化，包括空行和注释，代码也不过几百行；而相对于ADO.Net，SqlContext又非常简洁、灵活和优雅，你可以以一种直观的方式来访问数据库，而不必关心其实现的细节。本质上，SqlContext是对ADO.Net的封装，ADO.Net能做的事情SqlContext都能做到。

SqlContext的基本功能：

支持任意SQL
支持事务
支持简单的ORM
支持多种数据库
自动管理连接，支持长连接和短连接

项目地址：https://github.com/killf/SqlContext

more >>

更多内容 >>

pip国内源

2024-06-15

临时使用

1	pip install -i https://pypi.tuna.tsinghua.edu.cn/simple some-package

注意，simple不能少, 是https而不是http

设为默认

升级 pip 到最新的版本 (>=10.0.0) 后进行配置：

1 2	pip install pip -U pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

如果您到 pip 默认源的网络连接较差，临时使用本镜像站来升级 pip：

1	pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pip -U

更多内容 >>

screen命令

2024-06-15

一、简介

Screen是一款由GNU计划开发的用于命令行终端切换的自由软件。用户可以通过该软件同时连接多个本地或远程的命令行会话，并在其间自由切换。GNU Screen可以看作是窗口管理器的命令行界面版本。它提供了统一的管理多个会话的界面和相应的功能。

在Screen环境下，所有的会话都独立的运行，并拥有各自的编号、输入、输出和窗口缓存。用户可以通过快捷键在不同的窗口下切换，并可以自由的重定向各个窗口的输入和输出。

二、语法

$> screen [-AmRvx -ls -wipe][-d <作业名称>][-h <行数>][-r <作业名称>][-s ][-S <作业名称>]

-A 　将所有的视窗都调整为目前终端机的大小。
-d   <作业名称> 　将指定的screen作业离线。
-h   <行数> 　指定视窗的缓冲区行数。
-m 　即使目前已在作业中的screen作业，仍强制建立新的screen作业。
-r   <作业名称> 　恢复离线的screen作业。
-R 　先试图恢复离线的作业。若找不到离线的作业，即建立新的screen作业。
-s 　指定建立新视窗时，所要执行的shell。
-S   <作业名称> 　指定screen作业的名称。
-v 　显示版本信息。
-x 　恢复之前离线的screen作业。
-ls或--list 　显示目前所有的screen作业。
-wipe 　检查目前所有的screen作业，并删除已经无法使用的screen作业。

三、常用命令

screen -S name      -> 新建一个叫name的session
screen -ls          -> 列出当前所有的session
screen -r name      -> 回到name这个session
screen -d name      -> 远程detach某个session
screen -d -r name   -> 结束当前session并回到name这个session
screen -x name      -> 连接到某个session

四、快捷键

ctrl a d          -> 关闭当前session，但不退出
ctrl a c          -> 创建窗口
ctrl a [0-9]      -> 切换窗口
ctrl a w          -> 显示窗口列表

更多内容 >>

vscode常用命令

2024-06-15

一、常用快捷键

ctrl + p -> 快速打开，转到文件
ctrl + t -> 显示所有符号
ctrl + g -> 转到行
ctrl + shift + o -> 转到符号
ctrl + shift + m -> 打开问题面板
ctrl + shift + p -> 打开命令面板
ctrl + shift + ` -> 打开终端面板
ctrl + shift + i -> 格式化当前文件
ctrl + / -> 注释/取消注释当前行
ctrl + shift + n -> 打开新窗口
ctrl + shift + w -> 关闭当前窗口
alt + shift + [拖放/点击] -> 多行编辑命令
alt + ↑/↓ -> 向上/向下移动行
alt + shift + ↓/↑ -> 向上/向下复制行
ctrl + shift + k -> 删除当前行
ctrl + enter -> 在下面插入行
ctrl + shift + enter -> 在上面插入行
home -> 跳转到行首
end -> 跳转到行尾
ctrl + home -> 跳转到文件开头
ctrl + end -> 跳转到文件结尾
ctrl + w -> 关闭编辑器
ctrl + \ -> 拆分编辑器
ctrl + alt + - -> 返回上一个光标

二、常见问题

1.终端字体太长的问题

添加如下配置即可：

1
2
3

{
  "terminal.integrated.fontFamily": "monospace"
}

2.改变字体样式

默认的字体样式实在是太丑了，看起来非常密集，可以安装Font Switcher插件切换字体试一试，再不行可以直接安装一个字体，并在配置文件中配置进去。

3.同步配置文件和插件

使用Settings Sync插件即可，需要有一个github账号。

4.使用翻译功能

安装插件vscode-translator

5.切换为中文

vscode的界面默认是英文的，ctrl + shift + p然后输入configure language，选择或安装中文语言即可。

更多内容 >>

免sudo使用docker命令

2024-06-15

因为使用的是sudo安装docker，所以会导致一个问题。以普通用户登录的状况下，在使用docker images时必须添加sudo，那么如何让docker免sudo依然可用呢？解决方案如下。

如果还没有 docker group 就添加一个：
1
sudo groupadd docker
将用户加入该 group 内。然后退出并重新登录就生效啦。
1
sudo gpasswd -a ${USER} docker
重启 docker 服务
1
sudo service docker restart
切换当前会话到新 group 或者重启 X 会话
1
newgrp - docker
注意:最后一步是必须的，否则因为 groups 命令获取到的是缓存的组信息，刚添加的组信息未能生效，所以 docker images 执行时同样有错。

更多内容 >>

Ubuntu18.04安装VirtualGL和TurboVNC

2024-06-15

一、安装桌面和依赖

安装桌面和一些依赖软件：

sudo apt update
sudo apt install -y ubuntu-desktop
sudo apt install -y lightdm     # 在GUI中选择lightdm
sudo apt install -y dkms pkg-config     # nvidia-cuda
sudo apt install -y freeglut3-dev mesa-utils    # opengl
sudo apt install -y x11-xserver-utils libxrandr-dev     # x11

二、安装Nvidia显卡驱动和CUDA

1 2	wget https://developer.download.nvidia.com/compute/cuda/11.5.0/local_installers/cuda_11.5.0_495.29.05_linux.run sudo sh cuda_11.5.0_495.29.05_linux.run

参考：

三、安装VirtualGL

1 2	sudo apt install -y libegl1-mesa sudo dpkg -i virtualgl_2.6.95_amd64.deb

参考：

https://sourceforge.net/projects/virtualgl/files/

四、安装TurboVNC

1	sudo dpkg -i turbovnc_2.2.6_amd64.deb

注意，需要安装相应的window版本进行远程登陆

下载地址：https://sourceforge.net/projects/turbovnc/files/

五、安装libjpeg-turbo

1	sudo dpkg -i libjpeg-turbo-official_2.1.1_amd64.deb

下载地址： https://sourceforge.net/projects/libjpeg-turbo/

六、配置

sudo nvidia-xconfig --query-gpu-info    # 查看busid
sudo nvidia-xconfig -a --allow-empty-initial-configuration --virtual=1920x1200 --busid PCI:0@1:0:0  # 填上一步中获取的busid 

sudo service lightdm stop   # 关闭显示服务
sudo /opt/VirtualGL/bin/vglserver_config    # 选1，其他都为n，最后x退出
sudo service lightdm start # 开启显示服务

sudo reboot

重启后，检查安装的是否ok

1 2	xdpyinfo -display :0 /opt/VirtualGL/bin/glxinfo -display :0 -c

手动启动vncserver，也可以配置成开机启动

1	sudo /opt/TurboVNC/bin/vncserver # 启动vnc服务，第一次启动时需要配置密码，使用window远程的时候需要输入

远程桌面登陆到服务上，使用vglrun命令启动应用程序

1 2	chmod +x ./Presenter.x86_64 vglrun ./Presenter.x86_64

七、参考

Closing an issue just means that the issue was resolved or was not something that needs to be addressed in VirtualGL. Continuing to discuss the same topic in the comments is OK, even if the issue is closed.

That error message means that either the 3D X server isn't running or VirtualGL can't access it. Perform the "Sanity Check" procedure described here:
https://cdn.rawgit.com/VirtualGL/virtualgl/2.6.4/doc/index.html#hd006002001

Some common reasons why the 3D X server may not be accessible:

1. vglserver_config was never run on the VirtualGL server.
2. The VirtualGL server supports Wayland, but you did not answer "yes" when vglserver_config prompted you to disable Wayland in the display manager.
3. The 3D X server isn't actually running (perhaps due to an X server issue-- check /var/log/Xorg.0.log for errors-- or simply because it was stopped in order to run vglserver_config and never restarted.)
4. You restricted 3D X server access to the vglusers group, but your user account isn't in the vglusers group (or you did not log out and back in after adding your user account to the group.) Make sure you can read /etc/opt/VirtualGL/vgl_xauth_key.

更多内容 >>

Ubuntu上安装nvidia-docker

2024-06-15

看文档，一步一步来。

更多内容 >>