Browse parent directory

2025-04-04

# एमएल ज्यामिति नहीं है

मैं यहाँ एमएल पर अपनी एक अंतर्दृष्टि दर्ज कर रहा हूँ, ताकि कुछ साल बाद देख सकूँ कि यह सही थी या गलत। अभी इस पर काम करने की मेरी कोई immediate योजना नहीं है।

## डिस्क्लेमर
- एक छोटी सी संभावना है कि कोई इसका उपयोग करके एमएल क्षेत्र को बहुत तेज़ी से आगे बढ़ा देगा, और इससे दुनिया के लिए बुरे नतीजे हो सकते हैं। अगर आप चाहते हैं कि मैं यह पेज हटा दूँ, तो मुझे बताइए।

सामान्य तौर पर मेरी यह अंतर्दृष्टि है कि एमएल को ज्यामितीय दृष्टिकोण से देखने की बजाय ग्राफ़ के नज़रिए से देखना चाहिए, क्योंकि आयामों की अधिकता (curse of dimensionality) एक बड़ी चुनौती है।

- 1.58-बिट या शायद 1-बिट वाले मॉडल, fp8 की तुलना में तेज़ी से कन्वर्ज़ कर सकते हैं, अगर दोनों को ट्रेन करने में समान गणना (compute) लगती है। सटीकता (accuracy) में शायद ज़्यादा कमी नहीं आएगी।  
- हो सकता है कि कोई ग्राफ़ आधारित एल्गोरिथ्म बैकप्रोपेगेशन को पछाड़ दे। बैकप्रोप को ऐसे सोचने की बजाय कि वह ओरिजिनल वेट मैट्रिस से ज्यामितीय रूप से निकट वेट मैट्रिस पैदा कर रहा है, यह सोचा जाए कि वह "हैमिंग स्पेस" में ऐसे बिटस्ट्रिंग खोज रहा है जो ओरिजिनल बिटस्ट्रिंग से कम हैमिंग दूरी रखती हैं।

### इस विचार के समर्थन में कुछ सुबूत
- 1.58-बिट क्वांटाइज़ेशन, कम से कम इन्फ़्रेंस के लिए, अच्छा काम करता है।  
- ग्राफ़-आधारित एम्बेडिंग सर्च (HNSW, Microsoft का diskANN) ज्यामितीय-आधारित एम्बेडिंग सर्च (LSH, k-means clustering, Google का scANN) से बेहतर प्रदर्शन करता है।  
- ReLu सभी अन्य ऐक्टिवेशन फ़ंक्शन से बेहतर काम करता है।