Neural Networks 2
You can see that just by adjusting the weights (including the bias) we can design a number of useful units. In fact we know from Boolean algebra that by combining a number of NAND gates (e. above) we can make any Boolean function that we want.
يمكنك أن ترى أنه بمجرد ضبط الأوزان (بما في ذلك التحيز) يمكننا تصميم عدد من الوحدات المفيدة. في الواقع ، نحن نعرف من الجبر البوليني أنه من خلال الجمع بين عدد من بوابات NAND (e. أعلاه) يمكننا تقديم أي وظيفة منطقية نريدها.
Perceptrons as weighted threshold elements In 1958 Frank Rosenblatt, an American psychologist, proposed the perceptron, a more general computational model than McCulloch-Pitts units. The essential innovation was the introduction of numerical weights and a special interconnection pattern. In the original Rosenblatt model the computing units are threshold elements and the connectivity is determined stochastically. Learning takes place by adapting the weights of the network with a numerical algorithm. Rosenblatt's model was refined and perfected in the 1960s and its computational properties were carefully analyzed by Minsky and Papert [312]. In the following, Rosenblatt's model will be called the classical perceptron and the model analyzed by Minsky and Papert the perceptron.
Perceptrons كعناصر عتبة مرجحة في عام 1958 ، اقترح فرانك روزنبلات ، وهو عالم نفسي أمريكي ، جهاز الإدراك ، وهو نموذج حاسوبي أكثر عمومية من وحدات McCulloch - Pitts. كان الابتكار الأساسي هو إدخال الأوزان العددية ونمط الربط البيني الخاص. في نموذج روزنبلات الأصلي ، وحدات الحوسبة هي عناصر عتبة ويتم تحديد الاتصال بشكل عشوائي. يتم التعلم عن طريق تكييف أوزان الشبكة باستخدام خوارزمية رقمية. تم تحسين وتطوير نموذج روزنبلات في ستينيات القرن العشرين وتم تحليل خصائصه الحسابية بعناية بواسطة مينسكي وبابرت [312]. في ما يلي ، سيُطلق على نموذج روزنبلات اسم "بيرسيترون" الكلاسيكي والنموذج الذي حلله مينسكي وبابرت.
If you mark these four points on a graph and try to fi nd a straight line which separates the zeros from the ones, you will fail - there is no such line. This means that there is no single unit that can do this separation and so no single unit can implement this truth table.
إذا وضعت علامة على هذه النقاط الأربع على الرسم البياني وحاولت إنشاء خط مستقيم يفصل الأصفار عن تلك ، فسوف تفشل - لا يوجد مثل هذا الخط. وهذا يعني أنه لا توجد وحدة واحدة يمكنها القيام بهذا الفصل وبالتالي لا يمكن لوحدة واحدة تنفيذ جدول الحقائق هذا.
Now we can see that -bias is acting as a (variable) threshold that the rest of the sum must equal or exceed before the output can become 1. When you read around the subject you will see threshold being mentioned, and you now know that this is just minus the bias, which in turn is the name of a weight connected to an input that is always 1
الآن يمكننا أن نرى أن -bias يعمل كعتبة (متغيرة) والتي يجب أن تساوي بقية المبلغ أو تتجاوزه قبل أن يصبح الناتج 1. عندما تقرأ حول الموضوع سترى عتبة يجري ذكرها ، وأنت تعرف الآن أن هذا هو فقط ناقص التحيز ، وهذا بدوره هو اسم الوزن المتصل بإدخال دائم 1.
The connections from the retina to the projection units are deterministic and non-adaptive. The connections to the second layer of computing elements and from the second to the third are stochastically selected in order to make the model biologically plausible. The idea is to train the system to recognize certain input patterns in the connection region, which in turn leads to the appropriate path through the connections to the reaction layer. The learning algorithm must derive suitable weights for the connections.
الروابط من شبكية العين إلى وحدات الإسقاط هي حتمية وغير تكيفية. يتم اختيار التوصيلات للطبقة الثانية من عناصر الحوسبة ومن الثاني إلى الثالث بطريقة عشوائية من أجل جعل النموذج معقولاً بيولوجياً. تتمثل الفكرة في تدريب النظام على التعرف على أنماط مدخلات معينة في منطقة الاتصال ، مما يؤدي بدوره إلى المسار المناسب من خلال الوصلات إلى طبقة التفاعل. يجب أن تستمد خوارزمية التعلم الأوزان المناسبة للاتصالات.
Units with just this simple step activation function are surprisingly powerful when combined as we shall soon see, but for now let us see what a lone unit can do!
الوحدات ذات وظيفة التنشيط البسيطة هذه هي قوية بشكل مدهش عند دمجها كما سنرى قريباً ، ولكن الآن دعنا نرى ما يمكن لوحدة واحدة القيام به!
Next, we may want the activation to be one 'above the line' or to be one 'below the line'. The same line is involved, so the same family of units have to be used. However if you change the sign of bias (by, for example, multiplying the equation of the line by -1) you change the side of the line with activation = 1.
بعد ذلك ، قد نرغب في أن يكون التنشيط "فوق الخط" أو أن يكون "واحدًا أسفل الخط". نفس الخط متضمن ، لذا يجب استخدام نفس مجموعة الوحدات. ومع ذلك ، إذا قمت بتغيير علامة التحيز (بواسطة ، على سبيل المثال ، ضرب معادلة الخط بواسطة -1) قمت بتغيير جانب الخط مع التنشيط = 1.
Remember that the activation is 1 if net is greater than or equal to zero, so we can write the condition for our unit to have activation 1 as: net = bias wM ≥ 0 or as M ≥ -bias/w and bias ≥ -wM
تذكر أن التنشيط هو 1 إذا كان صافي أكبر من أو يساوي الصفر ، لذلك يمكننا كتابة الشرط لوحدة لدينا أن يكون التنشيط 1 على النحو التالي: net = bias wM ≥ 0 أو as M ≥ -bias / w and bias ≥ -wM
The error function in weight space Given two sets of patterns which must be separated by a perceptron, a learning algorithm should automatically find the weights and threshold necessary for the solution of the problem. The perceptron learning algorithm can accomplish this for threshold units. Although proposed by Rosenblatt it was already known in another context [10].
دالة الخطأ في مساحة الوزن بالنظر إلى مجموعتين من الأنماط التي يجب أن يفصلها جهاز قياس المحيط ، يجب أن تعثر خوارزمية التعلم تلقائيًا على الأوزان والعتبة اللازمة لحل المشكلة. يمكن لخوارزمية التعلم perceptron تحقيق ذلك من أجل وحدات العتبة. على الرغم من اقتراح روزنبلات كان معروفًا بالفعل في سياق آخر [10].
Let us now turn to the limitations of single units of this type, where we no longer insist that the weights are the same. Weights, inputs and bias are now arbitrary real numbers. We are going to do this by giving another way of looking at the calculation implied by the equation: a = [if (bias + Σ1 N w i ?i ) < 0 then 0 else 1]
دعونا ننتقل الآن إلى قيود وحدات مفردة من هذا النوع ، حيث لم نعد نصر على أن تكون الأوزان هي نفسها. الأوزان والمدخلات والتحيز هي الآن أرقام حقيقية عشوائية. سنقوم بذلك عن طريق إعطاء طريقة أخرى للنظر في الحساب الذي تتضمنه المعادلة: a = [if (bias + Σ1 N w i؟ i) <0 then 0 else 1]
Drawing a line in a plane How about the inverse of this: given a straight line graph, can we build a unit that separates the plane along the line? Suppose that we have a line given by y = mx c. We can see that this can be written as mx - y + c = 0 so that setting bias = c, v = m and w = -1 will provide the required weights. Not all straight lines, however, can be written as y = mx c: for example, a vertical line cannot be so written. However, it can be written in the form represented by units. The vertical line which goes through x = c and can be written as c - x 0y = 0, that is bias = c, v = -1 and w = 0
رسم خط في مستوي ماذا عن معكوس هذا: بالنظر إلى رسم بياني خط مستقيم ، هل يمكننا بناء وحدة تفصل الطائرة على طول الخط؟ لنفترض أن لدينا خطًا قدمه y = mx c. يمكننا أن نرى أن هذا يمكن كتابته كـ mx - y + c = 0 بحيث أن الإعداد bias = c، v = m و w = -1 سيوفر الأوزان المطلوبة. ومع ذلك ، لا يمكن كتابة جميع الخطوط المستقيمة على أنها y = mx c: على سبيل المثال ، لا يمكن كتابة سطر رأسي. ومع ذلك ، يمكن كتابتها في النموذج الذي تمثله الوحدات. الخط العمودي الذي يمر عبر x = c ويمكن كتابته على هيئة c - x 0y = 0 ، وهذا هو bias = c، v = -1 و w = 0
inally, consider the truth table in Figure 3.7. This truth table is that of the 'exclusive or' function XOR; that is, the Boolean function of two variables that is true when one or other, but not both, of its inputs are 1.
شفويا ، والنظر في جدول الحقيقة في الشكل 3.7. جدول الحقيقة هذا هو "الوظيفة الحصرية" أو "XOR" ؛ وهذا هو ، الدالة المنطقية لمتغيرين صحيحين عندما يكون واحد أو آخر ، ولكن ليس كليهما ، من مدخلاته 1.
With this notation our equation becomes: a = if (bias vx wy) < 0 then 0 else 1 From co-ordinate geometry we may know that the inequality (bias + vx + wy) < 0 represents a 'half plane' determined by the line (bias + vx + wy) = 0 and the sign of bias. For an easy 'trick' to find out which side of the line corresponds to an activation of 1, just substitute x = 0 and y = 0 into the equation. This gives the activation at the origin which turns out to be the same as the bias. So if the bias is < 0, the origin has activation of zero and if the bias is positive the activation at the origin is 1. (This link with co-ordinate geometry is the reason we are using x and y notation here, as you have probably realised.)
ع هذا الترميز تصبح معادلتنا: a = if (bias + vx + wy) <0 then 0 else 1 من الهندسة المنسقة قد نعرف أن عدم المساواة (bias + vx + wy) <0 يمثل "نصف مستوي" محدد بواسطة الخط (bias + vx + wy) = 0 وعلامة الانحياز. للحصول على "خدعة" سهلة لمعرفة أي جانب من الخط يقابل تفعيل 1 ، فقط قم باستبدال x = 0 و y = 0 في المعادلة. هذا يعطي التنشيط في الأصل الذي يتبين أنه نفس التحيز. إذا كان التحيز <0 ، فإن الأصل ينشط الصفر وإذا كان التحيز إيجابيًا ، يكون التنشيط في الأصل هو 1. (هذا الارتباط مع الهندسة المنسقة هو السبب في أننا نستخدم تدوين x و y هنا ، ربما أدركت.)
In the general case we want to distinguish between regions of space. A neural network must learn to identify these regions and to associate them with the correct response. The main problem is determining whether the free parameters of these decision regions can be found using a learning algorithm. In the next chapter we show that it is always possible to find these free parameters for linear decision curves, if the patterns to be classified are indeed linearly separable. Finding learning algorithms for other kinds of decision curves is an important research topic not dealt with here [45, 4].
في الحالة العامة نريد التمييز بين مناطق الفضاء. يجب أن تتعلم الشبكة العصبية التعرف على هذه المناطق وربطها بالاستجابة الصحيحة. وتتمثل المشكلة الرئيسية في تحديد ما إذا كان يمكن العثور على المعلمات المجانية لمناطق القرار هذه باستخدام خوارزمية تعلم. في الفصل التالي ، نظهر أنه من الممكن دائمًا العثور على هذه المعلمات المجانية لمنحنيات القرار الخطي ، إذا كانت الأنماط التي يتم تصنيفها هي بالفعل قابلة للفصل طوليًا. إن العثور على خوارزميات التعلم لأنواع أخرى من منحنيات القرار هو موضوع بحث مهم لم يتم تناوله هنا [45 ، 4].
Previously we set the input to 0 but now it is clamped, that is fixed at 1. Notice that the bias does not count in the N inputs - one often finds it thought of as input 0 but, unfortunately, it is also called input N 1 by some authors.
في السابق قمنا بتعيين المدخلات إلى 0 ولكن الآن تم تثبيتها ، والتي تم إصلاحها عند 1. لاحظ أن التحيز لا يتم حسابه في المدخلات N- غالباً ما يجد أنه يعتبر كمدخل 0 ، ولكن للأسف ، يطلق عليه أيضًا اسم الإدخال N +1 من قبل بعض المؤلفين.
In many cases it is more convenient to deal with perceptrons of threshold zero only. This corresponds to linear separations which are forced to go through the origin of the input space. The two perceptrons in Figure 3.5 are equivalent. The threshold of the perceptron to the left has been converted into the weight −θ of an additional input channel connected to the constant 1. This extra weight connected to a constant is called the bias of the element.
في كثير من الحالات ، يكون من الملائم التعامل مع المستقبلات ذات العتبة الصفرية فقط. هذا يقابل الفصل الطولي الذي يتم إجباره على الانتقال إلى أصل مساحة الإدخال. يكون المستقبِلان في الشكل 3.5 متساويين. تم تحويل عتبة الإحساس إلى اليسار إلى وزن −θ لقناة دخل إضافية متصلة بالثابت 1. ويسمى هذا الوزن الإضافي المتصل بثابت التحيز للعنصر.
Before we move on, let us look at what we can make with units of the type where net = bias + wΣ1 N ?i To see what we can do let us simplify the equation a little by using the symbol M to represent the number of inputs with value 1. Also if we let bias be any real number, rather than just a whole number, then we can write our equation as: net = bias + wM We have been able to do this because the inputs are either 0 or 1 and all the weights are the same
قبل أن ننتقل ، دعونا نلقي نظرة على ما يمكننا صنعه بوحدات من النوع حيث net = bias + wΣ1 N؟ i لمعرفة ما يمكننا فعله ، دعونا نتبادل المعادلة قليلاً باستخدام الرمز M لتمثيل عدد المدخلات ذات القيمة 1. أيضا إذا سمحنا بأن يكون التحيز أي رقم حقيقي ، بدلا من مجرد رقم صحيح ، فيمكننا كتابة معادلاتنا على النحو التالي: net = bias + wM لقد تمكنا من القيام بذلك لأن المدخلات إما 0 أو 1 وجميع الأوزان هي نفسها
To make life a little more complicated the bias, or at least an equivalent of it, has again for historical reasons, been given another name, threshold, or rather bias is 'minus threshold'. Suppose that we put this sum into the step activation function. We get: a = [if (bias wΣ1 N ?i ) < 0 then 0 else 1] This is, of course the same as saying: a = [if wΣ1 N ?i < -bias then 0 else 1]
لجعل الحياة أكثر تعقيدًا بعض الشيء ، يكون الانحياز مرة أخرى ، أو على الأقل مكافئ لها ، لأسباب تاريخية ، أو إعطاء اسم أو عتبة أخرى ، أو الانحياز بالأحرى "عتبة الطرح". لنفترض أننا وضعنا هذا المبلغ في وظيفة تنشيط الخطوة. نحصل على: a = [if (bias wΣ1 N؟ i) <0 then 0 else 1] هذا بالطبع ، مثل القول: a = [if wΣ1 N؟ i <-bias then 0 else 1]
We have now seen that any straight line in the plane can be represented by a unit and that any two-input (plus bias) unit represents a straight line. If we have more inputs then we must work in 'higher dimensions' with such units representing and being represented by 'hyperplanes'. You will read about these in the reading associated with this topic which is given at the end of this section.
لقد رأينا الآن أن أي خط مستقيم في المستوى يمكن تمثيله بوحدة وأن أي وحدة إدخال (زائد تحيز) تمثل خطًا مستقيماً. إذا كان لدينا المزيد من المدخلات ، فيجب أن نعمل في "أبعاد أعلى" مع مثل هذه الوحدات التي تمثل ويتم تمثيلها من خلال "الطائرات الفائقة". سوف تقرأ عن هذه في القراءة المرتبطة بهذا الموضوع والتي ترد في نهاية هذا القسم.
Introduction: Single units In this chapter we will walk you slowly through some very simple ANNs consisting of just one simple unit. However, as we will see, even a single unit can be very powerful (although later we will see that one unit may often not be powerful enough). Following other authors we use the term 'Perceptron' for a single unit, giving its details when necessary. Historically, a Perceptron was a particular type of unit but we prefer to follow the common usage.
مقدمة: وحدات مفردة في هذا الفصل ، سنساعدك ببطء خلال بعض ANNs بسيطة جدًا تتكون من وحدة واحدة بسيطة. ومع ذلك ، وكما سنرى ، يمكن لوحدة واحدة أن تكون قوية جدًا (على الرغم من أننا سنشاهد لاحقًا أن وحدة واحدة قد لا تكون قوية في الغالب). بعد المؤلفين الآخرين نستخدم مصطلح "Perceptron" لوحدة واحدة ، مع إعطاء تفاصيلها عند الضرورة. تاريخيا ، كان Perceptron نوع معين من الوحدة ولكننا نفضل اتباع الاستخدام الشائع.
We use capital N for the number of inputs. When we introduced the notation of the Figures, we said that it is often useful to add to the external inputs a special 'input' which is fixed at the value 1. We called the weight associated with this input the bias of the unit and now we are including it in the discussion
نحن نستخدم رأس المال N لعدد من المدخلات. عندما قدمنا تدوين الأرقام ، قلنا أنه من المفيد في كثير من الأحيان أن نضيف إلى المدخلات الخارجية "مدخلات" خاصة ثابتة عند القيمة 1. نحن نطلق على الوزن المرتبط بهذه المدخلات الانحياز للوحدة والآن نحن نقوم بتضمينها في المناقشة
These formulae give us a means of designing units which, in order to output a 1 on firing: a. require all inputs to be a 1 (that is an AND gate) by setting w = 1 and bias = -N (the number of inputs) b. require at least one input to be 1, by setting w = 1 and bias = -1 (this is an inclusive OR gate) c. require at least a certain number of inputs to be 1, again setting w = 1 and bias = - the number of inputs that we want to be on. This represents a sort of 'voting' circuit d. require at most M inputs to be 1 by setting w = -1 and bias = M e. require at least one of the inputs not to be 1 by setting w = -1 and bias = N - 1 (this is the NAND gate).
هذه الصيغ تعطينا وسيلة لتصميم الوحدات التي ، من أجل إخراج 1 على إطلاق النار: أ. تتطلب أن تكون جميع المدخلات 1 (أي بوابة AND) عن طريق تعيين w = 1 و bias = -N (عدد المدخلات) b. تتطلب إدخال واحد على الأقل ليكون 1 ، عن طريق تحديد w = 1 و bias = -1 (هذه عبارة عن بوابة شاملة أو بوابة) c. تتطلب على الأقل عدد معين من المدخلات لتكون 1 ، مرة أخرى وضع w = 1 والتحيز = - عدد المدخلات التي نريد أن نكون فيها. وهذا يمثل نوعًا من دائرة "التصويت" د. تتطلب أن تكون معظم مدخلات M 1 بضبط w = -1 و bias = M e. تتطلب واحدة على الأقل من المدخلات ألا تكون 1 عن طريق تحديد w = -1 و bias = N - 1 (هذه هي بوابة NAND).
There are a few 'loose ends' we need to tie up to complete our discussions on single units. Firstly, we note that if you multiply the equation of a straight line by any non-zero number it still represents the same line - so strictly speaking a line is represented by a family of units rather than a unique one. For example, the line y = mx c is exactly the same line as 7y = 7mx 7c. The unit with bias = c, v = m and w = -1 represents the same line as that with bias = 7c, v = 7m and w = -7.
هناك عدد قليل من "الأطراف غير المقصودة" نحتاج إلى ربطها لإكمال مناقشاتنا بشأن الوحدات الفردية. أولاً ، نلاحظ أنه إذا قمت بضرب معادلة خط مستقيم بأي رقم غير صفري ، فإنه لا يزال يمثل نفس السطر - بحيث يتم التعبير عن الخط بدقة من خلال مجموعة من الوحدات بدلاً من مجموعة فريدة. على سبيل المثال ، السطر y = mx c هو بالضبط نفس السطر كـ 7y = 7mx 7c. تمثل الوحدة مع bias = c و v = m و w = -1 نفس السطر مع ذلك bias = 7c و v = 7m و w = -7.
Artificial neural network (ANN) architecture. ANNs consist of artificial neurons. Each artificial neuron has a processing node ('body') represented by circles in the figure as well as connections from ('dendrites') and connections to ('axons') other neurons which are represented as arrows in the figure. In a commonly used ANN architecture, the multilayer perceptron, the neurons are arranged in layers. An ordered set (a vector) of predictor variables is presented to the input layer. Each neuron of the input layer distributes its value to all of the neurons in the middle layer. Along each connection between input and middle neurons there is a connection weight so that the middle neuron receives the product of the value from the input neuron and the connection weight. Each neuron in the middle layer takes the sum of its weighted inputs and then applies a non-linear (usually logistic) function to the sum. The result of the function then becomes the output from that particular middle neuron. Each middle neuron is connected to the output neuron. Along each connection between a middle neuron and the output neuron there is a connection weight. In the final step, the output neuron takes the weighted sum of its inputs and applies the non-linear function to the weighted sum. The result of this function becomes the output for the entire ANN. More details are provided in the appendix.
هندسة الشبكات العصبية الاصطناعية (ANN). ANNs تتكون من الخلايا العصبية الاصطناعية. يحتوي كل عصبون اصطناعي على عقدة معالجة ("جسم") ممثلة بدوائر في الشكل وكذلك وصلات من ("dendrites") ووصلات إلى (عصبونات) عصبونات أخرى يتم تمثيلها كأ سهم في الشكل. في هندسة ANN شائعة الاستخدام ، و perceptron متعدد الطبقات ، يتم ترتيب الخلايا العصبية في طبقات. يتم تقديم مجموعة مرتبة (متجهية) لمتغيرات التوقع إلى طبقة الإدخال. يقوم كل عصبون من طبقة المدخلات بتوزيع قيمته على جميع العصبونات في الطبقة الوسطى. على طول كل وصلة بين المدخل والخلايا العصبية الوسطى هناك وزن اتصال بحيث يتلقى العصبون الأوسط منتج القيمة من الخلايا العصبية المدخلة ووزن التوصيل. يأخذ كل عصبون في الطبقة الوسطى مجموع مدخلاته المرجحة ثم يطبق دالة غير خطية (عادة ما تكون لوجستية) على المجموع. ثم تصبح نتيجة الدالة ناتجة عن ذلك العصبون الأوسط المحدد. يتم توصيل كل خلية عصبية وسطية بالخلية العصبية للخرج. على طول كل اتصال بين الخلايا العصبية الوسطى والخلايا العصبية الإخراج هناك وزن الاتصال. في الخطوة الأخيرة ، يأخذ الخلايا العصبية الناتجة الكمية المرجحة من مدخلاتها وتطبق الدالة غير الخطية على المجموع المرجح. تصبح نتيجة هذه الوظيفة الإخراج لـ ANN بالكامل. يتم توفير المزيد من التفاصيل في الملحق.
One or two inputs To make our calculations easier we will for the time being restrict ourselves to looking at a single unit whose inputs are all binary and whose activation function is the threshold (T(<0,0,1)) given above, so that the outputs are also either 0 or 1. We call units with threshold activations threshold units. You may also see them called step units, as a step is another way of describing a threshold.
واحد أو اثنين من المدخلات لجعل حساباتنا أسهل ، سنقصر أنفسنا في الوقت الحالي على النظر إلى وحدة واحدة تكون مدخلاتها كلها ثنائية وتكون وظيفة التنشيط الخاصة بها هي العتبة (T (<0،0،1)) الواردة أعلاه ، لذلك أن المخرجات هي أيضا إما 0 أو 1. نطلق على الوحدات ذات وحدات عتبة تنشيط التنشيط. يمكنك أيضًا رؤيتهم يطلقون على وحدات الخطوة ، لأن الخطوة هي طريقة أخرى لوصف الحد الأدنى.
A unit as a line in the plane
وحدة كخط في المستوى
Two sets of points A and B in an n-dimensional space are called linearly separable if n 1 real numbers w1, . . . , wn 1 exist, such that every point (x1, x2, . . . , xn) ∈ A satisfies Pn i=1 wixi ≥ wn 1 and every point (x1, x2, . . ., xn) ∈ B satisfies Pn i=1 wixi < wn 1
ويطلق على مجموعتين من النقطتين A و B في فضاء n-dimensional انفصالاً خطيًّا إذا كانت n1 عدد حقيقي w1 ،. . . ، wn 1 موجودة ، بحيث أن كل نقطة (x1 ، x2 ،... ، xn) ∈ A يرضي Pn i = 1 wixi ≥ wn 1 وكل نقطة (x1 ، x2 ،... ، xn) ∈ B يرضي Pn i = 1 wixi <wn 1
Most learning algorithms can be stated more concisely by transforming thresholds into biases. The input vector (x1, x2, . . ., xn) must be extended with an additional 1 and the resulting (n 1)-dimensional vector (x1, x2, . . ., xn, 1) is called the extended input vector. The extended weight vector associated with this perceptron is (w1, . . . , wn, wn 1), whereby wn 1 = −θ.
يمكن ذكر معظم خوارزميات التعلم بإيجاز عن طريق تحويل الحدود إلى تحيزات. يجب أن يتم تمديد متجه الإدخال (x1 ، x2 ،... ، xn) مع 1 إضافي ويسمى المتجه (n 1) -dimensional (x1 ، x2 ،... ، xn ، 1) متجه الإدخال الممتد . متجه الوزن الممتد المرتبط بهذا المستشعر هو (w1،...، wn، wn 1) ، حيث wn 1 = −θ.
Three or more inputs It is important that you have some facility with working out the outputs, given inputs and weights (examination questions often ask you to do this), so let us look at some more examples. The diagram below represents a unit with three or more inputs. The 'dotted' input '...' represents 0 or more edges, allowing for an unspecified number of extra inputs.
ﺛﻼﺛﺔ ﻣﺪﺧﻼت أو أآﺜﺮ ﻣﻦ اﻟﻀﺮوري أن ﻳﻜﻮن ﻟﺪﻳﻚ ﺑﻌﺾ اﻟﻤﻨﺸﺄة ﺑﻮﺿﻊ اﻟﻤﺨﺮﺟﺎت ، ﻣﻊ إﻋﻄﺎء اﻟﻤﺪﺧﻼت واﻷوزان (ﻋﺎدة ﻣﺎ ﺗﻄﻠﺐ ﻣﻨﻚ أﺳﺌﻠﺔ اﻻﻣﺘﺤﺎن) ، ﻟﺬﻟﻚ دﻋﻮﻧﺎ ﻧﻨﻈﺮ إﻟﻰ ﺑﻌﺾ اﻷﻣﺜﻠﺔ. يمثل الرسم البياني أدناه وحدة تحتوي على ثلاثة أو أكثر من المدخلات. يمثل الإدخال "المنقَّط" ... "0 أو أكثر من الحواف ، مما يسمح بعدد غير محدد من المدخلات الإضافية.
Although not very exciting, this truth table shows us that, by making w positive, we can make the output always 1 and by making w negative we can make the unit output the opposite to its input. This possibility provides us with a way of building a NOT gate, to use the Boolean name for a device whose binary output is opposite to its binary input.
على الرغم من أنه ليس مثيرًا للغاية ، إلا أن جدول الحقيقة هذا يبين لنا أنه ، من خلال جعلنا إيجابيين ، يمكننا أن نجعل الإنتاج دائمًا 1 ومن خلال جعلنا سلبيًا يمكننا جعل وحدة الإنتاج مخالفة لإدخالها. يوفر لنا هذا الاحتمال طريقة لبناء بوابة NOT ، لاستخدام الاسم المنطقي للجهاز الذي يخرج مخرجاته الثنائية لإدخاله الثنائي.
In this case the value of net is the value of bias plus w times the sum of the other inputs. We can write this as: net = bias wΣ1 N ?i
في هذه الحالة ، تكون قيمة net قيمة التحيز زائد w مرة مجموع مجموع المدخلات الأخرى. يمكننا كتابة هذا على النحو التالي: net = bias wΣ1 N؟ i
Notice that we have used the 'value' of net (ie 1 times the weight when the input is 1). Also notice that we have spelt out the form of activation function.
لاحظ أننا استخدمنا "قيمة" الصافي (أي 1 أضعاف الوزن عندما يكون الإدخال 1). لاحظ أيضًا أننا حددنا شكل وظيفة التنشيط.
Units with binary inputs and step activation
وحدات مع مدخلات ثنائية وتفعيل الخطوة
Although this is a very simple network, it allows us to introduce the concept of an 'extended' truth table. An extended truth table is a truth table that has entries that evaluate to 0 or 1 but these entries could be variables or even expressions. Because all the inputs are binary, we can use an extended truth table to show how inputs map to outputs
على الرغم من أن هذه الشبكة بسيطة للغاية ، إلا أنها تسمح لنا بتقديم مفهوم جدول الحقيقة "الممتدة". جدول الحقيقة الممتدة عبارة عن جدول حقيقة يحتوي على مدخلات يتم تقييمها إلى 0 أو 1 ، لكن هذه الإدخالات يمكن أن تكون متغيرات أو حتى تعبيرات. نظرًا لأن جميع المدخلات ثنائية ، يمكننا استخدام جدول حقائق ممتد لعرض كيفية مدخلات المخرجات
The origin of the inputs is not important, whether they come from other perceptrons or another class of computing units. The geometric interpretation of the processing performed by perceptrons is the same as with McCulloch- Pitts elements. A perceptron separates the input space into two half-spaces. For points belonging to one half-space the result of the computation is 0, for points belonging to the other it is 1
لا يعتبر مصدر المدخلات مهمًا ، سواء أكان مصدرًا لمنطحات أخرى أو فئة أخرى من وحدات الحوسبة. إن التفسير الهندسي للمعالجة التي يتم تنفيذها بواسطة perceptrons هو نفسه مع عناصر McCulloch- Pitts. يفصل perceptron مساحة الإدخال إلى نصفين مسافرين. بالنسبة للنقاط التي تنتمي إلى نصف المسافة ، تكون نتيجة الحساب 0 ، بالنسبة للنقاط التي تنتمي إلى الأخرى فهي 1
Note that wi ?i above stands for weight wi times input ?i . The argument, though not the diagrams of lines in the plane below, works with any number of inputs - that is values for N, but to make our diagrams easy to imagine and draw we will take it to be just 2. Instead of ?a and ?b we shall use the letters x and y - for reasons that you will soon see. We will use v and w for the weights corresponding to x and y respectively.
لاحظ أن wi؟ i above تشير إلى مدخلات wi times؟ i. إن الوسيطة ، وإن لم تكن المخططات البيانية للخطوط في المستوى أدناه ، تعمل مع أي عدد من المدخلات - تلك هي قيم N ، ولكن لجعل مخططاتنا سهلة التخيل والرسم سنأخذها لتكون 2 فقط. و b سنستخدم الحروف x و y - للأسباب التي ستشاهدها قريباً. سنستخدم v و w للأوزان المقابلة لـ x و y على التوالي.
Notice that we have set the 'input' at the bias to zero. This means that the bias has no effect on the calculations as whatever its value the result of multiplying by zero will be zero. We say 'no bias' when the bias has no effect. Also notice that there is just one input, ?a
لاحظ أننا حددنا "الإدخال" عند الميل إلى الصفر. وهذا يعني أن التحيز ليس له أي تأثير على الحسابات ، مهما كانت قيمتها ، فإن النتيجة الناتجة عن ضرب الرقم صفر ستكون صفرًا. نقول "لا تحيز" عندما لا يكون للتحيّز أي تأثير. لاحظ أيضا أن هناك إدخال واحد فقط ،؟
