Xpenology on Proxmox 삽질 후기

 

 

2022.11.22 추가

능숙하지 않으시다면 ARPL로 올리는 것을 추천드립니다.

이번에 사용해보니 수동으로 설정해주어야하는 것도 거의 없고, 드라이버도 자동으로 물리는 등 매우 편리하고 쉬웠습니다.

---

이번에 12세대 B660M 보드 + i3-12100F에 proxmox 올리고 헤놀 설치하면서 삽질을 많이 했습니다.
도움되고자 몇가지 작성하고자 합니다.

 

 

1. 그래픽카드에는 UEFI 지원카드가 따로 있구나...

가장 먼저 헤놀과 상관 없는 사항이지만, 12세대 보드는 BIOS가 없고 UEFI만 있다는 듯 합니다. 4만원 아끼자고 intel 내장그래픽 없는 F 샀다가 아주 고생했습니다.
원래 남아있던 구식 그래픽카드나 꼽아서 vt-d 켜주고 생각했는데... 구식 그래픽카드는 UEFI 부팅이 안됩니다. OS가 깔려있으면 OS 부팅된 이후 그래픽이 나옵니다. 저는 메인컴에 있던 1050 떼다 붙여서 vt-d와 CSM support를 켰습니다.
그 후 구식 그래픽카드에서도 bios설정 들어갈 수 있게 되었습니다.

---

Proxmox에 헤놀 설치는 아래 링크를 참조하였습니다.
https://blog.dalso.org/article/proxmox-%EC%97%90-xpenology-dsm-7-1-%EC%84%A4%EC%B9%98%ED%95%98%EA%B8%B0-feat-ds920

Proxmox 에 Xpenology DSM 7.1 설치하기.(Feat. DS920+) - 달소씨의 하루

---

 

2. GRUB rescue...

위 링크의 작성자님께서는 tinycore-redpill-uefi.v0.4.6.img.gz를 받으시지만,,,,

https://www.google.com/url?sa=i&url=https%3A%2F%2Fmanjaro.ru%2Ftag%2F%2523manjaro%2520%2523kde%2520%2523%2520%25D0%25BF%25D1%2580%25D0%25BE%25D0%25B1%25D0%25BB%25D0%25B5%25D0%25BC%25D0%25B0%2520%25D1%2581%2520%25D0%25B7%25D0%25B0%25D0%25BF%25D1%2583%25D1%2581%25D0%25BA%25D0%25BE%25D0%25BC%2F&psig=AOvVaw1aBzj-oO2S8xoH0xkjyE2P&ust=1653963507593000&source=images&cd=vfe&ved=0CAwQjRxqFwoTCJictK6UhvgCFQAAAAAdAAAAABAD

이러한 에러의 무한 루프 수렁에 빠졌습니다.

며칠동안 들들 볶다보니 어떻게 한번은 성공했었는데, 다시 해보려니 결국 당시 어떤 방법으로 해결했는지 기억나지도 않고 수렁에서 헤어나올수가 없었습니다.

저의 팁은 tinycore-redpill-uefi.v0.4.6.img.gz를 사용하지 마시고 tinycore-redpill.v0.4.6.img.gz를 사용하시라는 겁니다.

수일동안 검색하며 돌아다니다보니 어떤 포럼에서 -uefi.v0.4.6가 문제가 있다는 글을 참조하여 uefi아닌 버전으로 시도해봤더니 저런 에러에 빠지지 않고 바로 성공했습니다.

3. Additional devices are attached. These will be inaccessible!

화정큐삼님의 스크립트를 사용 중 ./rploader.sh satamap now 부분을 진행하게 되는데,
위와 같이 inaccessible이라는 무서운 경고를 받습니다.
어쩌라는건지도 모르겠고 그냥 무시하고 진행하게되면 추후 첫 부팅 후 web page에 접속하여 DSM을 설치해야하는 과정에서 연결된 drive가 없다, 비활성화된 SATA port가 있다 등등 깽판을 부리며 진행되지 않습니다.

이는 아마 제가 SATA PCIE카드와 proxmox의 SATA disk들을 함께 사용하여 생기는 문제인 것 같습니다.

해결방법은 Esxi + Xpenology 글들에서 찾게 되었습니다.
Esxi에서는 sata controller를 여러개 붙여서 사용할 수 있는데, tiny core loader가 있는 sata controller에는 data disk를 추가하지 말라는 글이 있었습니다.

아마 제가 PCIE로 연결되는 sata controller들이 많다보니 proxmox 내장 sata controller인 82801에도 동일한 rule이 적용되는 것 같습니다.

현재는 따라서 기존의 방법대로 tiny core img를 SATA로 물리는 방법이 아닌, USB로 인식시켰습니다.
그리고 이후 DSM 부팅 시 SATA가 아닌 USB로 부팅하시면 정상 설치 진행됩니다.

https://11q.kr/www/bbs/board.php?bo_table=s11&wr_id=11646

●2번째) Proxmox ( PVE)에서 xpenology redpill dsm7.0 설치 테스트2 > 11.Nas_1 | HomePC.11q.kr

echo "args: -device 'ich9-usb-ehci1,id=usb-ctl-synoboot,addr=0x18' -drive 'id=usb-drv-synoboot,file=/var/lib/vz/images/100/synoboot.img,if=none,format=raw' -device 'usb-storage,id=usb-stor-synoboot,bootindex=1,removable=off,drive=usb-drv-synoboot'" >> /etc/pve/qemu-server/100.conf

위 링크에서 이러한 방법을 소개하고 있는데, 파일 이름이나 VMID등 적절하게 바꾸셔서 사용하시면 tinycore가 sata controller를 사용하지 않게되므로 

모든 controller가 정상으로 잡히게 되었습니다.

4. 네트워크 interface

Proxmox에서 추후 network interface를 추가할 계획이면 헤놀 설치할 때 미리미리 네트워크 장치를 추가해 놓은 채로 진행해야하는 듯 합니다. 추후에 추가하였더니 mac address가 안맞아서인지 제대로 기능하지 못했습니다.

그리고 위의 화정큐삼님의 스크립트를 진행하게되면 자동으로 serialgen 하기 때문에 macaddress가 새로 생성됩니다.
tinycore 작업 완료후 재부팅 전에 proxmox에서 네트워크 카드의 mac주소를 변경해야 이후 DSM설치과정이 잘 진행되는 것 같습니다.

5. SHR 활성화

https://sonhc.tistory.com/757

[Xpenology] DS3615xs 기반 DSM에 SHR 기능 활성화

sed -i 's/supportraidgroup="yes"/#supportraidgroup="yes"\nsupport_syno_hybrid_raid="yes"/g' /etc/synoinfo.conf
sed -i 's/supportraidgroup="yes"/#supportraidgroup="yes"\nsupport_syno_hybrid_raid="yes"/g' /etc.defaults/synoinfo.conf​

 

6. CPU 정보 제대로 입력

https://www.2cpu.co.kr/PDS/13285

DSM CPU정보 변경도구 ver 2.2.1-r01 (DSM 6.2.3-25423 지원) - 오류수정 :: 2cpu, 지름이 시작되는 곳!

 

7. Proxmox SATA PCI-E card passthrough 문제

Proxmox에서 4 port SATA card와 2 port SATA card를 passthrough하게 설정하였습니다.

Passthrough는 proxmox wiki 문서를 기반으로 진행하였는데, 문제가 있었습니다.

lspci -knn 결과 SATA card들이 vfio에 물리지 않고 ahci에 계속 물려있더군요.

그 상태에서 SATA card들에 하드디스크가 연결되어 있지 않은 경우 문제가 없어보였으나, 디스크가 연결되어있는 경우 VM을 시작하자마자 proxmox까지 다 먹통이 되어버리는 문제가 발생했습니다.

이 문제는 결국 아래 링크의 Stefan_R 씨의 답글을 보고 동일한 방법으로 해결하였습니다.

아예 스크립트로 만들어서 crontab에 재부팅 시 자동으로 적용하도록 조치하였습니다.

https://forum.proxmox.com/threads/passthrough-questions.96801/ 

Passthrough questions

 

8. SATA PCI-E card 문제

3번 내용의 스크린 샷에 있듯, 제가 사용하는 카드는 ASM1062 (2포트)와 Marvell 9215 (4포트) 입니다.

ASM1062: https://www.amazon.com/dp/B07PRRQ41J?psc=1&ref=ppx_yo2ov_dt_b_product_details

Amazon.com

Marvell 9215:https://link.coupang.com/a/qzFT5

LANstar PCI-E 내부 SATA3 4포트 카드/LS-PCIE-4SATA/PC 내부에 SATA3 4포트 생성/발열 방지용 방열판/LP 브라

두 카드에 조금 차이가 있더군요. 두 카드 모두 passthrough 하지 않은 상태에서는 proxmox에 디스크도 잘 올라오고 문제가 없었습니다. marvell카드는 부팅할 때 어떤 디스크가 연결되어있는지 뜨는 화면이 잠깐 추가됩니다. ASM카드는 변동이 없구요.

근데 문제는 ASM카드를 passthrough하고 나면 연결된 하드가 인식이 안됩니다. 드라이버 문제인지 모르겠으나 안타깝게도 xpenology에서 인식하지 못했습니다.

결국 지금은 Marvell 9215를 두 개 끼고 있습니다. 아주 잘 정상 작동/인식되고 있습니다.

 

9. Hard Dock (5.2베이 x2 -> 3.5 HDD x3)

아무래도 NAS로 사용하기 위해 작은 케이스를 샀다보니 공간이 정말 끔찍합니다.

그나마 옛날감성으로 멋보다는 하드베이 많은 케이스를 선택했지만, 이놈의 베이에 밑에 두 칸은 CPU정품쿨러인데도 닿습니다. 하나는 그냥 에라모르겠다 힘으로 꾸겨 넣었는데 나중에 하드 문제 있는 경우 뺄 생각하면 벌써 무섭네요.

예상 하드베이를 잃은만큼 추가적인 하드 자리를 확보하기 위해 5.2 베이 2개 크기의 3.5 하드 3개가 들어가는 도킹 베이를 구매했습니다. 구매하실 때 사용하시는 케이스가 5.2베이가 2개인지, 2개라면 두 베이 사이가 혹시 층을 나누는 철판 등으로 막히지 않았는지, 케이스 커버는 두 베이 모두 전면이 시원하게 뚫리는지 확인해주세요.
베이가 하나라면 3.5하드 x1 이나 2.5하드 x4 제품도 있습니다.
그리고 저의 경우 케이스와 도크의 전면부 테두리가 살짝 안맞아서 칼로 살짝 긁어내니 꼭 맞게 딱 들어갔습니다.

https://link.coupang.com/a/qzFv2

ICY DOCK MB830SP-B 3.5 HDD 3BAY 하드랙 가이드

작동에 문제가 없이 잘 작동합니다. 다만, 부착된 팬이 너무 싸구려인지 조절 다이얼을 제일 낮춰도 제트기 소리입니다.
결국 팬은 교체했습니다. 조용하다고 유명한 녹투아 팬으로 교체하고 나니 살만합니다.
https://link.coupang.com/a/qzGJ2

녹투아 시스템쿨러 NF-A8 PWM