Tuning Kernel FreeBSD for optimation Squid

For optimation Squid Proxy with FreeBSD is tuning the kernel with some following option.

options MAXFILES=4096
options NMBCLUSTERS=10240

options MSGMNB=16384
options MSGMNI=42
options MSGSEG=2049
options MSGSSZ=64
options MSGTQL=2048

options SHMSEG=64
options SHMMNI=96
options SHMMAX=2097152
options SHMALL=4096

options MAXDSIZ=”(384*1024*1024)”
options DFLDSIZ=”(384*1024*1024)”
options MAXSSIZ=”(256*1024*1024)”
Also for mountimg partition cache in /etc/fstab is better if add the option noatime
For Configure options same within Linux, Optimalisation cache_dir with option diskd

In sysctl.conf add this option

kern.maxusers=384
kern.ipc.nmbuf=20480
kern.ipc.nmbclusters=32768
vfs.vmiodirenable=1
kern.ipc.maxsockbuf=2097152
kern.ipc.somaxconn=8192
kern.ipc.maxsockbuf=1048576
kern.ipc.maxsockets=16424
kern.maxfiles=65536
kern.maxfilesperproc=32768
net.inet.tcp.rfc1323=1
net.inet.tcp.delayed_ack=0
net.inet.tcp.sendspace=65535
net.inet.tcp.recvspace=65535
net.inet.udp.recvspace=65535
net.inet.udp.maxdgram=57344
net.local.stream.recvspace=65535
net.local.stream.sendspace=65535
net.inet.icmp.icmplim=300
net.inet.icmp.icmplim_output=0
net.inet.tcp.delayed_ack=0
net.inet.ip.portrange.last=40000

Or if your kernel will to compile, maybe this value can to encrease until 70 % or approriate with your memori computer. this configuration for sample for memory computer 512MB, once again if the computer dedicated for squid
options MAXFILES=4096
options NMBCLUSTERS=10240

options MAXDSIZ=”(384*1024*1024)”
options DFLDSIZ=”(384*1024*1024)”
options MAXSSIZ=”(256*1024*1024)”

become for :

maxusers 384
options NBUF=20480
options MAXFILES=65536
options NMBCLUSTERS=32768
options MAXDSIZ=”(640*1024*1024)”
options DFLDSIZ=”(640*1024*1024)”
options MAXSSIZ=”(512*1024*1024)”

(mungkin jika setelah berjalan 1 bulan dg beban penuh dan ternyata memori belum mulai swap ke hardisk angkanya bisa dinaikkan lagi mjd 768,768,640, tapi jangan setinggi memori fisiknya lho)

dg opsi kompilasi (optimasi):

COPTFLAGS=”-O2 -pipe”

dan semua module masuk ke kernel (NO_MODULES=true) (NFS, mouse, usb, pseudo device, debug/verbose support, dll/non-esensial jika memang tidak diperlukan dimatikan saja biar jadi ‘extra langsing dan singset’ kayak atlit sprinter, he he he …).

Terus layanan non-esensial dimatikan saja, cron, inetd, and sendmail, dll di /etc/rc.conf (dari contoh Squid bake-off). http://www.squid-cache.org/Benchmarking/bakeoff-02/SQUID.txt. Kalau bisa periferal yg tidak diperlukan dimatikan juga di BIOS-nya (mis. serial/parallel port, dll).

Terus yg ini nemu di milis tapi saya pribadi belum pernah mencoba (copy-n-paste saja ya, he he ) dan tinggal disesuaikan saja setelah dihitung ulang (kira2 angka2 di atas benar nggak ya?) :

Tambahan Dari Forum
# Options to accelerate Squid
/sbin/sysctl -w vfs.vmiodirenable=1
/sbin/sysctl -w kern.ipc.somaxconn=8192
/sbin/sysctl -w net.inet.tcp.delayed_ack=0
/sbin/sysctl -w net.inet.ip.portrange.last=4000
/sbin/sysctl -w kern.maxfiles=65536
/sbin/sysctl -w net.inet.tcp.sendspace=65535
/sbin/sysctl -w net.inet.tcp.recvspace=65535

# extra
/sbin/sysctl -w kern.ipc.maxsockbuf=2097152
/sbin/sysctl -w kern.ipc.maxsockets=16424
/sbin/sysctl -w kern.maxfilesperproc=32768
/sbin/sysctl -w net.inet.tcp.rfc1323=1
/sbin/sysctl -w net.inet.udp.recvspace=65535
/sbin/sysctl -w net.inet.udp.maxdgram=57344
/sbin/sysctl -w net.local.stream.recvspace=65535
/sbin/sysctl -w net.local.stream.sendspace=65535
/sbin/sysctl -w net.inet.tcp.blackhole=2
/sbin/sysctl -w net.inet.udp.blackhole=1

#streamingan

http://www.bjoern-gaul.de/content/edv-fragen/squid-stream.htm

Perbedaan jenis Harddisk IDE, SATA dan SCSI

#.ATA (IDE)
AT Attachment (ATA) adalah antarmuka standar untuk menghubungkan peranti penyimpanan seperti hard disk, drive CD-ROM, atau DVD-ROM di komputer. ATA singkatan dari Advance Technology Attachment. Standar ATA dikelola oleh komite yang bernama X3/INCITS T13. ATA juga memiliki beberapa nama lain, seperti IDE dan ATAPI. Karena diperkenalkannya versi terbaru dari ATA yang bernama Serial ATA, versi ATA ini kemudian dinamai Parallel ATA (PATA) untuk membedakannya dengan versi Serial ATA yang baru.Parallel ATA hanya memungkinkan panjang kabel maksimal hanya 18 inchi (46 cm) walaupun banyak juga produk yang tersedia di pasaran yang memiliki panjang hingga 36 inchi (91 cm). Karena jaraknya pendek, PATA hanya cocok digunakan di dalam komputer saja. PATA sangat murah dan lazim ditemui di komputer.
Nama standar ini awalnya adalah PC/AT Attachment. Fitur utamanya adalah bisa mengakomodasi koneksi langsung ke ISA BUS 16-bit sehingga dinamai AT Bus. Nama ini kemudian disingkat menjadi AT Attachment untuk mengatasi masalah hak cipta.

#.SATA
SATA adalah pengembangan dari ATA. SATA didefinisikan sebagai teknologi yang didesain untuk menggantikan ATA secara total.Adapter dari serial ATA mampu mengakomodasi transfer data dengan kecepatan yang lebih tinggi dibandingkan dengan ATA sederhana.

Antarmuka SATA generasi pertama dikenal dengan nama SATA/150 atau sering juga disebut sebagai SATA 1. SATA 1 berkomunikasi dengan kecepatan 1,5 GB/s. Kecepatan transfer uncoded-nya adalah1,2 GB/s. SATA/150 memiliki kecepatan yang hampir sama dengan PATA/133, namun versi terbaru SATA memiliki banyak kelebihan (misalnya native command queuing) yang menyebabkannya memiliki kecepatan lebih dan kemampuan untuk melakukan bekerja di lingkungan
multitask.
Di awal periode SATA/150, para pembuat adapter dan drive menggunakan bridge chip untuk mengonversi desain yang ada dengan antarmuka PATA. Peranti bridge memiliki konektor SATA dan memiliki beberapa konektor daya. Secara perlahan-lahan, produk bridge mengakomodasi native SATA. Saat ini kecepatan SATA adalah 3GB/sdan para ahli sekarang sedang mendesain teknologi untuk SATA 6GB/s.

>.Beberapa fitur SATA adalah:

SATA menggunakan line 4 sinyal yang memungkinkan kabel yang lebih ringkas dan murah dibandingkan dengan PATA. SATA mengakomodasi fitur baru seperti hot-swapping dan native command queuing.
Drive SATA bisa ditancapkan ke kontroler Serial Attached SCSI (SAS) sehingga bisa

berkomunikasi dengan kabel fisik yang sama seperti disk asli SAS, namun disk SAS tidak bisa ditancapkan ke kontroler SATA.
Kabel power dan kabel SATA mengalami perubahan yang cukup signifikan dibandingkan kabel Parallel ATA. Kabel data SATA menggunakan 7 konduktor di mana 4 di antaranya adalah line aktif untuk data. Oleh karena bentuknya lebih kecil, kabel SATA lebih mudah digunakan di ruangan yang lebih sempit dan lebih efisien untuk pendinginan.

#.SCSI
SCSI (Small Computer System Interface) dibaca “skasi” adalah standar yang dibuat untuk keperluan transfer data antara komputer dan periferal lainnya. Standar SCSI mendefinisikan perintah-perintah,protokol dan antarmuka elektrik dan optik yang diperlukan. SCSI menawarkan kecepatan transfer data yang paling tinggi di antara standar yang lainnya.
Penggunaan SCSI paling banyak terdapat di hard disk dan tape drive.Namun, SCSI juga terdapat pada scanner, printer, dan peranti optik(DVD, CD, dan lainnya). Standar SCSI digolongkan sebagai standar yang device independent sehingga secara teoritis SCSI bisa diterapkan
di semua tipe hardware.

Berdasarkan tingkat kecepatan putarannya, hard disk jenis IDE memiliki kecepatan putaran 5.400 rpm dan 7.200 rpm. Sedangkan hard disk SCSI mampu berputar antara 10.000 s.d. 12.000 rpm.
Tingkat kecepatan putaran piringan hard disk diukur dalam satuan RPM (rotation per minute/putaran per menit). Semakin cepat putaran hard disk, maka jumlah data yang dapat dibaca oleh head semakin
banyak.Demikian pula sebaliknya.

squid-cache : ACL elements

***** ACL TYPES AVAILABLE *****

• src: source (client) IP addresses
• dst: destination (server) IP addresses
• myip: the local IP address of a client's connection
• arp: Ethernet (MAC) address matching
• srcdomain: source (client) domain name
• dstdomain: destination (server) domain name
• srcdom_regex: source (client) regular expression pattern matching
• dstdom_regex: destination (server) regular expression pattern matching
• src_as: source (client) Autonomous System number
• dst_as: destination (server) Autonomous System number
• peername: name tag assigned to the cache_peer where request is expected to be sent.
• time: time of day, and day of week
• url_regex: URL regular expression pattern matching
• urlpath_regex: URL-path regular expression pattern matching, leaves out the protocol and hostname
• port: destination (server) port number
• myport: local port number that client connected to
• myportname: name tag assigned to the squid listening port that client connected to
• proto: transfer protocol (http, ftp, etc)
• method: HTTP request method (get, post, etc)
• http_status: HTTP response status (200 302 404 etc.)
• browser: regular expression pattern matching on the request user-agent header
• referer_regex: regular expression pattern matching on the request http-referer header
• ident: string matching on the user's name
• ident_regex: regular expression pattern matching on the user's name
• proxy_auth: user authentication via external processes
• proxy_auth_regex: regular expression pattern matching on user authentication via external processes
• snmp_community: SNMP community string matching
• maxconn: a limit on the maximum number of connections from a single client IP address
• max_user_ip: a limit on the maximum number of IP addresses one user can login from
• req_mime_type: regular expression pattern matching on the request content-type header
• req_header: regular expression pattern matching on a request header content
• rep_mime_type: regular expression pattern matching on the reply (downloaded content) content-type header. This is only usable in the http_reply_access directive, not http_access.
• rep_header: regular expression pattern matching on a reply header content. This is only usable in the http_reply_access directive, not http_access.
• external: lookup via external acl helper defined by external_acl_type
• user_cert: match against attributes in a user SSL certificate
• ca_cert: match against attributes a users issuing CA SSL certificate
• ext_user: match on user= field returned by external acl helper defined by external_acl_type
• ext_user_regex: regular expression pattern matching on user= field returned by external acl helper defined by external_acl_type

 Sumber : http://wiki.squid-cache.org

refresh_pattern explanation

Mekanisme umum akses internet via web browser utk menguji validitas (‘freshness’) obyek yg tersimpan adl dg ‘menjenguk’ obyek tsb ke server asal/sumber dan membandingkannya dg obyek yg sama yg sudah tersimpan di lokal. Jadi memang ‘boros’ walaupun belum tentu setiap saat obyek tersebut diambil lho, jadi hanya sekedar di’tanyai’ saja ‘tgl lahirnya’ (dan ada beberapa info yg lain yg penting juga, tapi kita fokus di ‘umur’nya saja). Dg demikian saran utk teman-teman yg mengelola warnet adl dg memperbesar cache lokal web browser (internet temporary files-nya utk IE dan tidak salah default-nya 10% dari ukuran partisinya ya?). 

Kenapa kok ‘umur’ obyek (atau halaman web) diuji? Ya kira2 jawabannya supaya informasinya selalu yg terbaru dan tidak salah (kalau tidak mau yg terbaru dan selalu hanya mengakses yg sudah tersimpan di lokal cache web browser ya di-set saja mode ‘offline, dijamin akses akan sangat lebih cepat dan sangat hemat bandwidth, tapi dg konsekuensi ekstrim spt halaman tsb di server sudah dihapus, di sisi klien bakalan tidak tahu lho). Kepingin mjd ’super boros’ dg asumsi tanpa Squid atau cache server (bukan lokal cache lho)? ya cache di web browser dimatikan saja shg setiap saat akses internet akan selalu mengambil obyek/halaman langsung dari server asal/sumbernya (tapi irit tempat di hardisk lokal, hanya ini keuntungannya). Jelas dari sisi latensi akan naik drastis. Kira2 sudah bisa dibayangkan ya? hi hi hi … (makanya beberapa ISP secara diam2 akan men’transparan’kan cache server dg maksud mau membantu ekstrimis yg ’super boros’ ini tadi, he he he … apa hanya sekedar alasan buat mereka menghemat bw ya?)

Baik skrg masuk peran Squid yg pada dasarnya bersifat ’shared’ obyek lokal dalam konteks 1 domain. Secara garis besar mekanisme kerjanya mirip dg ‘temporary cache’ lokal web browser itu tadi cuma bedanya dipakai bersama dg user yg lain. Yg membedakan dalam kaitannya dg refresh_pattern adl Squid tidak tidak akan ‘bertanya’ validitas obyek jika ternyata ‘umur’nya masih dalam durasi refresh_pattern-nya (default minimum Squid 120 menit atau 2 jam, kalau tidak salah). Jadi jika ‘umur’ obyek sejak di’lahir’kan belum mencapai 2 jam (utk contoh) maka Squid tidak akan mengakses server asal/sumber utk mengambil info ‘umur’nya, dg kata lain obyek akan dianggap masih valid selama durasi waktu tadi (2 jam, misalnya), alias penghematan bw dan peningkatan responsivitas akses.

Kerugian jika refresh_pattern minimum (min) terlalu lama, misalnya kita set 1 hari, jelas jika ternyata dalam waktu kurang dari 1 hari obyek di ujung server asal berubah, di sisi klien dan Squid-nya masih akan tetap dianggap valid, atau dg kata lain, informasinya salah/tidak akurat, lha halaman web-nya memang tidak sama dg yg di server. Bagi web desainer, contoh saja lho tanpa ada masuk diskriminasi, he he he … akan tidak suka krn ada kebutuhan ‘instan’ setiap kali mengubah atau memperbaiki halaman web di ujung server utk keperluan evaluasi (ya jelas tidak akan mau menunggu 1 hari utk melihat perubahannya, ha ha ha … benar ya?). Jadi intinya min refresh_pattern adalah keterangan kapan waktu ‘tersegera’ utk menguji validitas obyek. Jika obyek teruji masih valid, Squid akan mengambil dari lokal cache swap-nya, jika obyek sudah tidak valid ya jelas Squid akan mengambil obyek dari server asal. Sekarang masalahnya, bagaimana jika obyek tidak memiliki ‘umur’ atau info ‘tgl lahir’? (tidak semua web itu memiliki info ini lho, tergantung si web programernya).

Kapan menguji atau mengambil langsung dari server asal obyek ‘tak berumur’ ini, toh validitasnya tidak bisa diuji? Persentase dan nilai maksimum-lah yg akan menentukan (percentage max). Obyek tanpa umur ini tadi akan dianggap valid oleh Squid selama umur minimumnya 50% dari umur maksimumnya, misalnya. Utk contoh 50% 120 akan berarti obyek tanpa umur valid selama ‘umur’nya masih kurang dari 1 jam (50% dari 120 menit). Menurut pengalaman perubahan obyek2 HTTP di internet itu relatif ‘lamban’, maka kebiasaan saya pribadi demi Squid yg ‘agresif’ adalah antara 80% s/d 95% dg nilai maksimum hingga 1 bulan (berapa menit ya, sori lupa) dan utk FTP krn semakin jarang berubah bisa lebih lama lagi bisa hingga 3 bulan atau 6 bulan. Tentunya ini tergantung profil pengguna internet anda lho, hanya contoh ekstrim saja. Jadi saat ‘umum’ maksimum yg sudah didefinisikan di refresh_pattern tercapai, jelas Squid akan ‘menjenguk’ obyek tsb ke asal servernya. Dg asumsi obyek masih sama maka Squid akan mengambil dari loka cache swap-nya. Jika ternyata obyek sudah berbeda, misalnya dari ukuran file atau saat file obyek tsb berbeda, maka Squid akan mengambil dari server tsb.

Opsi override-lastmod dan reload-into-ims kepanjangannya adalah ‘override last modification’ dan ‘reload into if-modified-since’. Override-lastmod akan meng’override’ perubahan yg terjadi di server asal obyek dg mengabaikan validitasnya hingga minimum refresh_pattern-nya tercapai. Efeknya obyek di lokal Squid bisa berbeda dg obyek yg di server asal. Tapi opsi ini masih mengijinkan si user ‘memaksa’ menguji validitasnya dg menekan tomboh ‘reload’ atau ‘refresh’ di web browser. Opsi ini, kalau saya memandangnya ‘agak menipu sedikit’, he he he … Sbg contoh di atas, saya yakin obyek di ujung server sudah berubah walaupun terakhir saya akses baru 10 menit yg lalu (min refresh_pattern=120 menit, misalnya), maka dg menekan tombol ‘reload’ di browser saya akan bisa menguji validitas obyek tsb dg yg di server asal, dan jika ternyata ya benar obyek tsb sudah berubah, jelas Squid akan langsung mengambil obyek lebih baru dari server asal. Jika saya biarkan saja akses ke obyek tsb tanpa menekan tombol ‘reload’ di browser maka mekanisme uji validitas mempergunakan min refresh_pattern akan berlaku biasa. (kadang saya punya pemikiran bgmana jika ada mesin klien yg ‘usil’ membangkitkan ‘reload’ atau ‘refresh’ dg intensif sekali shg Squid kewalahan, apakah bisa DoS semacam ini ya?, he he he … “boys and girls, please don’t try this at home”, ha ha ha).

Opsi reload-into-ims akan mengubah atau memodifikasi ‘umur’ obyek sehingga seakan-akan ‘dilahirkan’ kembali atau ‘direset’. Misalnya saya pernah mengakses suatu obyek suatu obyek 1,5 jam yg lalu, dan saya akses lagi obyek yg sama sekarang, maka ‘umur’ obyek yg sama ini akan dianggap ‘fresh’ atau obyek baru dan sudah tidak berumur 1,5 jam yg lalu. Keuntungan opsi ini adalah mekanisme ‘penyegaran’ umur obyek populer sehingga tidak pernah mjd ‘tua’ hingga nilai percentage dan maksimumnya tercapai, sekali lagi ‘agak menipu’, he he he … Kendali penuh tetap di user utk menekan tombol ‘reload’ atau ‘refresh’ jika tidak yakin obyek ‘fresh’.

Jadi kira2 dan sepemahanan saya mekanisme refresh_pattern Squid spt ini. Utk konfigurasi yg ‘pas’ utk keperluan anda ya silahkan bereksperimen sendiri krn keperluan dan profil user plus kemampuan h/w juga berbeda. Begitu saja, semoga bermanfaat dan masuk akal ya, yg paling penting tidak menambah kebingungan, hi hi hi ….