pfSense 2.4.4 nfs client

Mister511

192.168.5.254

Это что за ip?
192.168.1.14 это 2012r2 ?
192.168.1.13 и это что?

CB55

192.168.5.254 secondary
hn0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=48001b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,LINKSTATE,TXCSUM_IPV6>
ether 00:15:5d:01:2c:09
hwaddr 00:15:5d:01:2c:09
inet6 fe80::215:5dff:fe01:2c09%hn0 prefixlen 64 scopeid 0x5
inet 192.168.1.14 netmask 0xfffffe00 broadcast 192.168.1.255
inet 192.168.5.254 netmask 0xffffff00 broadcast 192.168.5.255

2012r2 --192.168.1.13

Ubuntu 18.04.2 LTS 192.168.1.27 с нее все подключается
/sbin/mount.nfs 192.168.1.13:/NFStore /mnt/nfs -vwn -o vers=3
mount.nfs: timeout set for Tue Jul 30 10:36:49 2019
mount.nfs: trying text-based options 'vers=3,addr=192.168.1.13'
mount.nfs: prog 100003, trying vers=3, prot=6
mount.nfs: trying 192.168.1.13 prog 100003 vers 3 prot TCP port 2049
mount.nfs: prog 100005, trying vers=3, prot=17
mount.nfs: trying 192.168.1.13 prog 100005 vers 3 prot UDP port 2049

CB55

если, я правильно понял, ядро собрано с поддержкой NFS
kldstat -v | grep nfs
452 nfsd
449 nfscommon
566 nfslockd
565 nfssvc
456 unionfs
450 nfs
491 acl_nfs4
451 nfscl
564 nfslock

клиент запускается /etc/rc.d/nfsclient start
NFS access cache time=60

но шара так и не подключается, и в логах на сервере тишина :(

smils

@CB55
Убери второй IP c LAN.

CB55

убрал, не помогает
/sbin/mount_nfs -3 192.168.1.13:/NFStore /mnt/nfs
[tcp] 192.168.1.13:/NFStore: nfsd: RPCPROG_NFS: RPC: Remote system error - Operation timed out

Diagnostics- Traceroute
проходит и UDP и ICMP и с LAN и с Any

Из правил и на Wan и на Lan разрешены все IP4 с назначением 192.168.1.13
счетчики по 0 :( и это тоже не понятно
при этом пингую..

Konstanti

@CB55 По умолчанию клиент nfs на pfsense заблокирован
Попробуйте разблокировать его и перезагрузитесь

[2.4.4-RELEASE][admin@ru.xxxxxxxx.org]/root: grep nfs /etc/defaults/rc.conf
netfs_types="nfs:NFS smbfs:SMB" # Net filesystems.
nfs_client_enable="NO"		# This host is an NFS client (or NO).
nfs_access_cache="60"		# Client cache timeout in seconds
nfs_server_enable="NO"		# This host is an NFS server (or NO).
nfs_server_flags="-u -t"	# Flags to nfsd (if enabled).
nfs_server_managegids="NO"	# The NFS server maps gids for AUTH_SYS (or NO).
nfs_reserved_port_only="NO"	# Provide NFS only on secure port (or NO).
nfs_bufpackets=""		# bufspace (in packets) for client
nfsv4_server_enable="NO"	# Enable support for NFSv4
nfscbd_enable="NO"		# NFSv4 client side callback daemon
nfscbd_flags=""			# Flags for nfscbd
nfsuserd_enable="NO"		# NFSv4 user/group name mapping daemon
nfsuserd_flags=""		# Flags for nfsuserd

CB55

хм.. смотрел НЕ там
[2.4.4-RELEASE][admin@v-gw.enisey.local]/root: grep nfs /etc/rc.conf
nfs_client_enable="YES"
nfs_client_flags="-n 4"
[2.4.4-RELEASE][admin@v-gw.enisey.local]/root: grep nfs /etc/defaults/rc.conf
netfs_types="nfs:NFS smbfs:SMB" # Net filesystems.
nfs_client_enable="NO" # This host is an NFS client (or NO).
nfs_access_cache="60" # Client cache timeout in seconds
попробую

Konstanti

@CB55
/etc/rc.conf

THIS FILE DOES NOTHING, DO NOT MAKE CONFIG CHANGES HERE

CB55

к сожалению, без изменений.. я же клиента и так руками пробовал запускать..
grep nfs /etc/defaults/rc.conf
netfs_types="nfs:NFS smbfs:SMB" # Net filesystems.
nfs_client_enable="YES" # This host is an NFS client (or NO).
/sbin/mount_nfs -o vers=3 -o soft 192.168.1.13:/NFStore /mnt/nfs
[tcp] 192.168.1.13:/NFStore: nfsd: RPCPROG_NFS: RPC: Remote system error - Operation timed out

на сервере в логах даже попыток нет :(
всетак и режется где-то файерволом.. , наверно

Konstanti

@CB55 Если компы находятся в одной сети , то они не обращаются к шлюзу , а общаются напрямую. Запустите tcpdump и посмотрите , уходят ли пакетики

Konstanti

@CB55 said in pfSense 2.4.4 nfs client:

/sbin/mount_nfs -o vers=3 -o soft 192.168.1.13:/NFStore /mnt/nfs

Запустил у себя на тестовой ам с настройками по умолчанию
с Вашей командой

[2.4.4-RELEASE][admin@pfSense.localdomain]/root: cd /mnt
[2.4.4-RELEASE][admin@pfSense.localdomain]/mnt: ls
[2.4.4-RELEASE][admin@pfSense.localdomain]/mnt: mkdir nfs
[2.4.4-RELEASE][admin@pfSense.localdomain]/mnt: /sbin/mount_nfs -o vers=3 -o soft 192.168.1.230:/volume1/video /mnt/nfs
[2.4.4-RELEASE][admin@pfSense.localdomain]/mnt: 
[2.4.4-RELEASE][admin@pfSense.localdomain]/mnt/nfs: ls -l
total 76827188
-rwxrwxrwx  1 1026  100        14340 Jul 19 11:07 .DS_Store
drwxrwxrwx  1 1026  100           34 Sep  9  2016 .TemporaryItems
-rwxrwxrwx  1 1026  100           36 Feb  3 22:53 .yandex.disk
drwxrwxrwx  1 1026  100            8 Sep 10  2016 Home.2015.BDRemux.by_bog3417
drwxrwxrwx  1 1026  100           84 Mar 25  2018 My little pony
drwxrwxrwx  1 1026  100           58 Jun 30  2016 SNOW_WHITE_2DVD9_R5

[2.4.4-RELEASE][admin@pfSense.localdomain]/root: df -h
Filesystem                      Size    Used   Avail Capacity  Mounted on
/dev/ufsid/5c71761476e84803      15G    984M     12G     7%    /
devfs                           1.0K    1.0K      0B   100%    /dev
/dev/md0                        3.4M    100K    3.0M     3%    /var/run
devfs                           1.0K    1.0K      0B   100%    /var/dhcpd/dev
192.168.1.230:/volume1/video    3.5T    1.3T    2.2T    38%    /mnt/nfs

tcpdump (начало соединения)

[2.4.4-RELEASE][admin@pfSense.localdomain]/root: tcpdump -i em0 host 192.168.1.230
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on em0, link-type EN10MB (Ethernet), capture size 262144 bytes
15:31:13.476599 IP 192.168.1.230.netbios-dgm > 192.168.1.255.netbios-dgm: NBT UDP PACKET(138)
15:31:25.237936 ARP, Request who-has 192.168.1.230 tell 192.168.1.197, length 28
15:31:25.240250 ARP, Reply 192.168.1.230 is-at 00:11:32:59:c0:31 (oui Unknown), length 46
15:31:25.240295 IP 192.168.1.197.xmlrpc-beep > 192.168.1.230.sunrpc: UDP, length 56
15:31:25.243276 IP 192.168.1.230.sunrpc > 192.168.1.197.xmlrpc-beep: UDP, length 28
15:31:25.243786 IP 192.168.1.197.dhcp-failover2 > 192.168.1.230.nfsd: Flags [S], seq 2361145024, win 65228, options [mss 1460,nop,wscale 7,sackOK,TS val 103854 ecr 0], length 0
15:31:25.246264 IP 192.168.1.230.nfsd > 192.168.1.197.dhcp-failover2: Flags [S.], seq 1036643899, ack 2361145025, win 14480, options [mss 1460,sackOK,TS val 1778927702 ecr 103854,nop,wscale 7], length 0
15:31:25.246348 IP 192.168.1.197.dhcp-failover2 > 192.168.1.230.nfsd: Flags [.], ack 1, win 513, options [nop,nop,TS val 103863 ecr 1778927702], length 0
15:31:25.246767 IP 192.168.1.197.dhcp-failover2 > 192.168.1.230.nfsd: Flags [P.], seq 1:45, ack 1, win 513, options [nop,nop,TS val 103863 ecr 1778927702], length 44: NFS request xid 2713698272 40 null
15:31:25.250323 IP 192.168.1.230.nfsd > 192.168.1.197.dhcp-failover2: Flags [.], ack 45, win 114, options [nop,nop,TS val 1778927706 ecr 103863], length 0
15:31:25.250337 IP 192.168.1.230.nfsd > 192.168.1.197.dhcp-failover2: Flags [P.], seq 1:29, ack 45, win 114, options [nop,nop,TS val 1778927706 ecr 103863], length 28: NFS reply xid 2713698272 reply ok

CB55

у меня как-то по другому дамп выглядит
tcpdump -i hn0 host 192.168.1.13
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on hn0, link-type EN10MB (Ethernet), capture size 262144 bytes
18:58:31.149580 IP v-gw.enisey.local.930 > 192.168.1.13.sunrpc: UDP, length 56
18:58:31.151472 IP 192.168.1.13.sunrpc > v-gw.enisey.local.930: UDP, length 28
18:58:31.151500 ARP, Request who-has v-gw.enisey.local tell 192.168.1.13, length 46
18:58:31.151525 ARP, Reply v-gw.enisey.local is-at 00:15:5d:01:2c:09 (oui Unknown), length 28
18:58:31.152459 IP v-gw.enisey.local.735 > 192.168.1.13.nfsd: Flags [S], seq 366827208, win 65228, options [mss 1460,nop,wscale 7,sackOK,TS val 3267976 ecr 0], length 0
18:58:34.176301 IP v-gw.enisey.local.735 > 192.168.1.13.nfsd: Flags [S], seq 366827208, win 65228, options [mss 1460,nop,wscale 7,sackOK,TS val 3271002 ecr 0], length 0

Konstanti

@CB55

Ну , вот что видно
Что SYN пакет есть , а вот ответа от сервера нет
Возможно , на сервере NFS настроен контроль доступа с определенных адресов
Если не секрет , а зачем подключать файрвол к nfs серверу ?

werter

Если не секрет , а зачем подключать файрвол к nfs серверу ?

Предположу, для того, чтобы не давать прямо доступ извне к NFS на Вин-сервере (?) Или же на nfs периодически сбрасываются бэкапы чего-то, что живет на пф.

@CB55
(Если есть возможность) "Правильный" NFS (и не только NFS) - это NFS развернутый на *nix.
Xigmanas https://2gusia.livejournal.com/30360.html, FreeNAS, OMV в помощь. У самого nfs, ftp, win-шары 3-й год живут на Xigmanas. Сам Xigmanas грузится с флешки + 4 HDD в ZFS RAID-Z2 (двойная избыточность, позволяет пережить выход из строя ЛЮБЫХ 2-ух hdd из массива (в отличие от raid10) )

CB55

извините за молчание, на выезде был
@Konstanti на Win адреса машинки добавлены , когда стоит запрет - Вин в лог пишет, что была попытка соединения с запрещенного адреса .. В любом случае - спасибо. Буду еще ее ковырять.

@werter - спасибо, подумаю о смене ..

Задача, с удаленных точек заливать объемные файлы рсинхом поверх SSH с ключем
на толстый ресурс виндовый и далее с ними работа идет на винде, при этом Не выставлять винду напрямую в инет. Думал что NFS будет более правильнее , чем Samba..

Буду дальше думать, как вариант прокидывать на другой линукс и мапить ресурсы на нем уже..

smils

@CB55 said in pfSense 2.4.4 nfs client:

18:58:31.149580 IP v-gw.enisey.local.930 > 192.168.1.13.sunrpc: UDP, length 56
18:58:31.151472 IP 192.168.1.13.sunrpc > v-gw.enisey.local.930: UDP, length 28
18:58:31.151500 ARP, Request who-has v-gw.enisey.local tell 192.168.1.13, length 46
18:58:31.151525 ARP, Reply v-gw.enisey.local is-at 00:15:5d:01:2c:09 (oui Unknown), length 28
18:58:31.152459 IP v-gw.enisey.local.735 > 192.168.1.13.nfsd: Flags [S], seq 366827208, win 65228, options [mss 1460,nop,wscale 7,sackOK,TS val 3267976 ecr 0], length 0
18:58:34.176301 IP v-gw.enisey.local.735 > 192.168.1.13.nfsd: Flags [S], seq 366827208, win 65228, options [mss 1460,nop,wscale 7,sackOK,TS val 3271002 ecr 0], length 0

gw.enisey.local -это WAN ?

CB55

@smils дамп на самом шлюзе смотрел, на нем же
nslookup v-gw.enisey.local
Server: 127.0.0.1
Address: 127.0.0.1#53
Name: v-gw.enisey.local
Address: 192.168.1.14
т.е. LAN

Konstanti

@CB55 покажите вывод команды
ifconfig -m

какая сетевая на lan интерфейсе ???

CB55

@Konstanti
ifconfig -m

enc0: flags=0<> metric 0 mtu 1536
        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
        groups: enc
lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> metric 0 mtu 16384
        options=600003<RXCSUM,TXCSUM,RXCSUM_IPV6,TXCSUM_IPV6>
        capabilities=600003<RXCSUM,TXCSUM,RXCSUM_IPV6,TXCSUM_IPV6>
        inet6 ::1 prefixlen 128
        inet6 fe80::1%lo0 prefixlen 64 scopeid 0x2
        inet 127.0.0.1 netmask 0xff000000
        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
        groups: lo
pflog0: flags=100<PROMISC> metric 0 mtu 33160
        groups: pflog
pfsync0: flags=0<> metric 0 mtu 1500
        groups: pfsync
        syncpeer: 224.0.0.240 maxupd: 128 defer: on
        syncok: 1
hn0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
 options=48001b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,LINKSTATE,TXCSUM_IPV6>
        capabilities=48071b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,TSO4,TSO6,LRO,LINKSTATE,TXCSUM_IPV6>
        ether 00:15:5d:01:2c:09
        hwaddr 00:15:5d:01:2c:09
        inet6 fe80::215:5dff:fe01:2c09%hn0 prefixlen 64 scopeid 0x5
        inet 192.168.1.14 netmask 0xfffffe00 broadcast 192.168.1.255
        inet 192.168.5.254 netmask 0xffffff00 broadcast 192.168.5.255
        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
        media: Ethernet autoselect (10Gbase-T <full-duplex>)
        status: active
        supported media:
                media autoselect
hn1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=48001b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,LINKSTATE,TXCSUM_IPV6>
        capabilities=48071b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,TSO4,TSO6,LRO,LINKSTATE,TXCSUM_IPV6>
        ether 00:15:5d:01:2c:0b
        hwaddr 00:15:5d:01:2c:0b
        inet6 fe80::215:5dff:fe01:2c0b%hn1 prefixlen 64 scopeid 0x6
        inet 95.156.aaa.aaa netmask 0xfffffffc broadcast 95.156.aaa.aab
        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
        media: Ethernet autoselect (10Gbase-T <full-duplex>)
        status: active
        supported media:
                media autoselect
hn1.400: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=80000<LINKSTATE>
        capabilities=80000<LINKSTATE>
        ether 00:15:5d:01:2c:0b
        inet6 fe80::215:5dff:fe01:2c0b%hn1.400 prefixlen 64 scopeid 0x7
        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
        media: Ethernet autoselect (10Gbase-T <full-duplex>)
        status: active
        supported media:
                media autoselect
        vlan: 400 vlanpcp: 0 parent interface: hn1
        groups: vlan

Живет на виртуалке под управлением Hyper-V Server 2016 10.0.14393

Konstanti

@CB55 Попробуйте сделать так
Разумное объяснение происходящему я вижу только одно
Адаптер lan ( hn0) неверно считает контрольные суммы tcp - у Вас это включено , и сетевой стек клиента отбрасывает эти пакеты
Попробуйте отключить это в настройках
/Advanced/ networking