2016年7月26日星期二

用 tun2socks 配置全局 SOCKS5 代理转发

笔者要在安装了 ArchLinuxARM 的 Raspberry Pi 上配置 SOCKS5 代理转发,并把局域网内其它计算机的网关、DNS 服务器设置成 Raspberry Pi,做到全局 SOCKS5 代理转发。
ArchLinuxARM 的系统控制服务是 Systemd。如果你不用 Systemd,可能需要调整某些步骤。
在开始之前,安装这些软件包:
badvpn-tun2socks iproute2 iptables pdnsd
首先配置 pdnsd 的 DNS 转发:
/etc/pdnsd.conf
 
global {
max_ttl=300;
min_ttl=0;
neg_domain_pol=off;
query_method=tcp_only;
run_as=pdnsd;
timeout=10;
}
 
server {
ip=8.8.8.8,8.8.4.4;
}
然后写启动和终止脚本:
/usr/local/bin/socksfwd
 
#!/bin/bash
 
SOCKS_SERVER=xxx.xxx.xxx.xxx # SOCKS 服务器的 IP 地址
SOCKS_PORT=1080 # SOCKS 服务器的端口
GATEWAY_IP=192.168.1.1 # 家用网关(路由器)的 IP 地址
BYPASS_IPS=(yyy.yyy.yyy.yyy zzz.zzz.zzz.zzz) # 不需要代理的 IP 地址
TUN_NETWORK_DEV=tun0 # 选一个不冲突的 tun 设备号
TUN_NETWORK_PREFIX=10.210.0 # 选一个不冲突的内网 IP 段的前缀
 
start_fwd() {
ip tuntap add dev "$TUN_NETWORK_DEV" mode tun
ip addr change "$TUN_NETWORK_PREFIX.1/30" dev "$TUN_NETWORK_DEV"
ip link set "$TUN_NETWORK_DEV" up
ip route del default via "$GATEWAY_IP"
ip route add default via "$GATEWAY_IP" metric 600
for i in "${BYPASS_IPS[@]}"
do
ip route add "$i" via "$GATEWAY_IP" metric 5
done
ip route add default via "$TUN_NETWORK_PREFIX.2" metric 6
badvpn-tun2socks --tundev "$TUN_NETWORK_DEV" --netif-ipaddr "$TUN_NETWORK_PREFIX.2" --netif-netmask 255.255.255.252 --socks-server-addr "$SOCKS_SERVER:$SOCKS_PORT" &
TUN2SOCKS_PID="$!"
}
 
stop_fwd() {
ip route del default via "$TUN_NETWORK_PREFIX.2" metric 6
for i in "${BYPASS_IPS[@]}"
do
ip route del "$i" via "$GATEWAY_IP" metric 5
done
ip tuntap del dev "$TUN_NETWORK_DEV" mode tun
}
 
start_fwd
trap stop_fwd INT TERM
wait "$TUN2SOCKS_PID"
写 Systemd 服务:
/etc/systemd/system/socksfwd.service
 
[Unit]
Description=Transparent SOCKS5 forwarding
After=network-online.target
 
[Service]
Type=simple
ExecStart=/usr/local/bin/socksfwd
LimitNOFILE=1048576
 
[Install]
WantedBy=multi-user.target
打开流量转发:
/etc/sysctl.d/sysctl.conf
 
net.ipv4.ip_forward = 1
net.ipv6.conf.all.forwarding = 1
net.ipv4.tcp_congestion_control=westwood
net.ipv4.tcp_syn_retries = 5
net.ipv4.tcp_synack_retries = 5
/etc/iptables/iptables.rules
 
*nat
:PREROUTING ACCEPT [0:0]
:INPUT ACCEPT [0:0]
:OUTPUT ACCEPT [1:1500]
:POSTROUTING ACCEPT [0:0]
-A POSTROUTING ! -s 127.0.0.0/8 -j MASQUERADE
COMMIT
最后设置 DNS 为本机 pdnsd。如果用 systemd-network,可以这么写,其中 eth0 改成对外的网卡名称:
/etc/systemd/network/eth0.network
 
[Match]
Name=eth0
 
[Network]
DHCP=yes
DNS=127.0.0.1
IPForward=yes
 
[DHCP]
UseDNS=no
 
[Route]
Metric=100
如果不用 systemd-network,也可以改 /etc/resolv.conf
/etc/resolv.conf
 
nameserver 127.0.0.1
最后启动服务并重启:
sudo systemctl enable socksfwd iptables
systemctl reboot

P.S. 这个方案也可以在桌面 Linux 或者 ChromeOS 上运行,只需要安装依赖并设法运行 socksfwd 脚本即可,其它步骤可以不做。
可以不使用 pdnsd 来转发 DNS,但是 DNS 服务器就需要加到 BYPASS_IPS 中。
在 ChromeOS 平台,创建的 tun 设备会被 shill 服务自动删掉,需要在执行 socksfwd 之前执行:
stop shill
start shill BLACKLISTED_DEVICES=tun0

2015年1月18日星期日

MinGW-w64 的 libwinpthread-1.dll 依赖问题

用 MinGW-w64 工具链编译程序默认是动态链接 libgcclibstdc++。这样客户机上必须有这两个 DLL 才能运行目标程序。
可以用 -static-libgcc -static-libstdc++ 来设置成静态链接。
但是 libstdc++ 有一个依赖是 libwinpthread-1.dll,它无法用 -static-* 选项来关掉。
虽然很多人建议用 -static,但是它有副作用。
编过研究,我找到了解决方案:
-static-libgcc -static-libstdc++ -Wl,-Bstatic -lstdc++ -lpthread -Wl,-Bdynamic
将它加在 g++ 命令行的最末尾即可。注意 -lstdc++-lpthread 之前。

去 StackOverflow 为我的这个答案投票:[问题 1] [问题 2]

2014年12月14日星期日

GCC LTO 连接时优化的几点注意

GCC 4.7 开始支持 Link Time Optimization (LTO),即连接时优化,可以使跨不同源文件的函数之间的关系得到进一步的优化。
它的做法是先把源代码编译成 GIMPLE 中间码,再在连接的时候生成真正的机器码。
在 Linux 上编译本机程序时一直正常工作,但是在使用 MingW-w64 工具链的时候,发现有时连接静态库会报错提示找不到符号。
在 Google 和 StackOverflow 一段时间之后,发现需要注意以下几点:
  1. arnmranlib 换成 gcc-argcc-nmgcc-ranlib
    因为原生的 arnmranlib 无法处理含有 GIMPLE 中间码的目标文件。
  2. 使用 gcc -fuse-linker-plugin 参数。
    它开启连接器插件功能,GCC 可以在连接时做更多的优化。
  3. 如果各种方法都不行,使用 gcc -ffat-lto-objects
    这会让 GCC 生成一个“胖的(fat)”目标文件,它同时含有非 LTO 的机器码和 GIMPLE 中间码。工具链中如果有不支持 LTO 的程序如(ar),会使用非 LTO 的机器码副本。
总结一下,编译的时候加上以下的 CFLAGS
gcc -flto -fuse-linker-plugin
如果 Makefile 是别人写好的,可以使用我的 LTOWrapper 来注入 -flto 参数。

注:在 Linux 下使用 LLVM/Clang 的全程序优化遇到困难的时候可以试试 http://nochair.net/posts/2011/07-01-whole-program-llvm-bitcode.html
Linux 下,Clang 需要使用 Gold 连接器。配置好之后 -flto 就可以使用。

2014年10月24日星期五

用命令关闭 Gnome Shell 的 Looking Glass

Gnome 3 的 Gnome Shell 有一个很方便的调试器,叫 Looking Glass。
启动方式是 Alt-F2 输入 lg 回车,退出方式是按 Esc 键。
但是我笔记本电脑的 Esc 键坏了,所以找到了一个用命令关闭 Looking Glass 的方法。
输入 Main.createLookingGlass().toggle() 即可。

P.S. 用 global.get_window_actors().forEach(function (w) { w.set_scale(0.8, 0.8) }) 可以把所有窗口缩放到 80% 大小。

2014年8月22日星期五

宣布 JKSN,又一个 JSON 兼容二进制压缩格式

本来只是想可不可以用二进制来储存 JSON 并且做一些优化之类的,结果造出来 JKSN 这货。
比较了一下文件大小,发现没有经过压缩的 JKSN 数据比 gzip -9 JSON 还要小。于是把 JKSN 的目标定为让 JSON 序列更小。

JKSN 适用于任何网络带宽比处理时间更重要的场合,如移动即时通讯。

项目地址:https://github.com/m13253/JKSN。Specification 和参考实现均以 BSD 协议发布。

为什么不用 GZIP 呢?
JKSN 和 GZIP 不冲突。JKSN 编码后的数据可以被 GZIP 压缩得更小。
由于 GZIP 的 32 KiB 滑动窗口的设计,相似的数据只有互相间隔不超过 32 KiB 才能得到有效压缩。JKSN 会将数据重新组织,使相似的数据尽可能靠近排列,更有利于 GZIP 的压缩。

下面,用项目主页上举的例子,做个比较,:
格式文件大小
JSON150 字节
JSON gzip -9112 字节
JKSN109 字节
JKSN gzip -9107 字节
再来比较同类二进制 JSON 实现:
格式文件大小
BSON172 字节
Universal Binary Json150 字节
MessagePack120 字节
JSONH116 字节
BJSON(内置自适应哈夫曼压缩)115 字节
JKSN109 字节

如果各位读者对此项目感兴趣,且有空余时间,不妨让 JKSN 变得更好:
目前 JKSN 已经有 Python 3、Python 2、浏览器 JavaScript、Node.JS、C 五种环境的实现了。如果你愿意,请帮助我为 JKSN 补上 PHP 5、Java 的实现。
追求模范性和稳定性的实现可以直接 fork JKSN repository 并发给我 Pull Request;追求速度的实现可以另开新 repository 并通知我。
如果你知道怎么重新组织 JSON 结构让其更易于压缩,请联系我。我希望和你探讨问题。

2014年8月16日星期六

中文普通话参考音素表

Rocaloid 语音合成引擎正在 Sleepwalking 的领导下紧张地开发中,制作中文音源需要哪些音素呢?
Rocaloid 现在版本是以单音节(monophone)为合成单位,所以录音数量大大降低了,有条件录制某些特殊情况下的发音变形。
以此我整理了一份参考音素表,只做参考,如有遗漏或错误请留言通知我。
标有 (p) 的是弱读和快读时的发音变化,相对的是 (f) 标记。

辅音 Consonants


汉语拼音参考IPA 音标参考X-SAMPA 音标参考备注
bpp
pp_h
mmm
fff
dtt
tt_h
nnn
lll
gkk
kk_h
hxx
jts\
qtɕʰts\_h
xɕs\
zhʈʂts`
chʈʂʰts`_h
shʂs`
rʐz`
ztsts
ctsʰts_h
sss
szzz用来拼写外来语、少数民族语言和方言
vvv
y (p)jj快读时 i u 变为 j w
w (p)ww
0ʔ?声门塞音

单元音 Mono-vowels

汉语拼音参考IPA 音标参考X-SAMPA 音标参考备注
aaa
o (p)oo如“咯”
e (p)ɤ7如“了”
ehɛE汉语拼音方案记作“ê”,注音符号记作“ㄝ”,如“诶”
iii
ihɯ / ɨM / 1注音符号记作“ㄭ”,如“私”
uuu
üyy有时使用字母“v”代替
nnn这里把鼻音视作元音处理
ngŋN
mmm

双元音 Di-vowels

汉语拼音参考IPA 音标参考X-SAMPA 音标参考备注
aiaI
aoaU
ananan
angɑŋAN
erɑɹAr\如“二”
ouɤʊ7U有些人偏好读作 oʊ
enən@n
engɤŋ7N
eieI
iaiaia
ioioio如“哟”
ieiE
ininin
uauaua
o (f)uouo与 p pʰ m f 拼读,如“播”
uouO如“我”
ongʊŋUN
üeyE如“月”
e (f)ɯʌMV如“饿”

三元音 Tri-vowels

汉语拼音参考IPA 音标参考X-SAMPA 音标参考备注
iaoiaʊiaU
iangiɑŋiAN
iuiɤʊi7U有些人偏好读作 ioʊ
iong (f)iʊŋiUN如“穷”慢读
ianiɛniEn
ingiɯŋiMN南方口音更偏好读作 iŋ
uaiuaɪuaI
uanuanuan
uanguɑŋuAN
uiueɪueI
unuənu@n
uenguɤŋu7N
iong (p)yʊŋyUN如“永”快读
üanyɛnyEn如“远”,北方口音更偏好读作 yan
ünyinyin如“云”

儿化音 R-endings

汉语拼音参考IPA 音标参考X-SAMPA 音标参考备注
oror\
e-erɤɹ7r\不是 ɑɹ,ɑɹ 已在前面列出
ehrer\
ihrɯɹMr\
urur\
üryr\

唇化鼻音 M-endings (语速快的场合)

汉语拼音参考IPA 音标参考X-SAMPA 音标参考备注
amamam
amgɑmAm
omgomom
eməm@m
emgɤm7m
imimim
üm (p)ymym
iomgiʊmiUm
iamgiɑmiAm
iamiɛmiEm
uamuamuam
uamguɑmuAm
umuəmu@m
uemguɤmu7m
üm (f)yimyim
当快读时,i u 变为 j w,儿化音与前面一个元音连读,p pʰ m 之前的鼻音变为唇化鼻音,鼻音前的元音变为鼻音化元音。

可以使用我的 Pinyin2XSampa 程序将拼音转换成 X-SAMPA。

论交互设计师的英文素养

很多 Web App 都会提供第三方调用的 API,在 API 的提示信息中如果有语法错误就贻笑大方了。
你不信?我来举几个例子:
{"error": "Hit sexy spam"} ——来自百度
{"error": "Wrong verify code"} ——来自腾讯
{"error": "Apps is not exists"} ——来自哔哩哔哩
交互设计师的英文素养很重要啊。
下面给出我的参考翻译
百度那例:Hit porn filter
腾讯那例:Wrong Captcha
哔哩哔哩那例:App does not exist

2014年6月15日星期日

用 Biligrab-Danmaku2ASS 看B站

上回说到Linux 下 Chrome Pepper Flash 上B站卡的问题,这次就与 cnBeining 合作带来了桌面观看哔哩哔哩视频的解决方案了。
使用了 cnBeining 的 Biligrab 抓取脚本和我的 Danmaku2ASS 弹幕渲染。Perfect。
用法是一句话 ./biligrab.py http://www.bilibili.com/video/av314/
海外党再加 --overseas
这个项目以 MIT 协议发布。

2014年6月1日星期日

Linux 下 Chrome Pepper Flash 上B站卡的问题

用 Linux 下 Chrome Pepper Flash 播放器访问 bilibili 会有各种问题。
第一个是字体乱码,在 bilibili 播放器的配置面板中取消勾选“应用到界面字体”“粗体”并选择一个合适的字体。默认字体很可能会导致崩溃。
第二个是弹幕播放卡顿,可以使用“宽屏模式”或“全屏模式”解决问题。

bilibili 怎么还不用 HTML5 播放器啊!ABPlayerHTML5 项目已经用 HTML5 还原高级弹幕了。
总之谁有精力开发一个第三方播放器,“逼死官方”吧。

2014年5月2日星期五

用 Ubuntu LiveCD 做系统急救盘

硬盘里有 Ubuntu LiveCD 的镜像,可否让 GRUB 2 从镜像启动,以备不时之需呢?
和 GRUB Legacy 以及 GRUB4DOS 不同,GRUB 2 不需要镜像文件在硬盘上连续存放。(难免有磁盘碎片的对吧)
但是 GRUB 2 不可以从镜像文件 chainloader。
选了很多发行版,Ubunbu 的 LiveCD 是最合适的。
下面在 /etc/grub.d/40_custom 末尾加上以下内容。(40_custom 自带两行文字,开头两行不要改)
menuentry 'Ubuntu 14.04 LiveCD' {
  insmod part_gpt
  insmod ext2
  insmod iso9660
  set iso_path=/boot/ubuntu-14.04-desktop-amd64.iso
  echo 'Finding LiveCD...'
  search --set=root --file ${iso_path}
  echo 'Mounting LiveCD...'
  loopback loop ${iso_path}
  set root=loop
  set iso_path="${iso_path} locale=zh_CN"
  export iso_path
  configfile /boot/grub/loopback.cfg
}
再随便找一个磁盘卷宗,把 ubuntu-14.04-desktop-amd64.iso 扔到 /boot 里。
如果不是 ext2 ext3 ext4 的卷,把 insmod ext2 换成对应的模块名。
set iso_path="${iso_path} locale=zh_CN" 这里是一个小 hack,借着 (loop)/boot/grub/loopback.cfg 没有做好转义,把语言参数注入进去了。
完成之后,Debian 等执行 sudo update-grub,ArchLinux 等执行 sudo grub-mkconfig -o /boot/grub/grub.cfg